Lühike vastus
Kui leht on kustutatud ja asendust pole, jäta 404 (või 410, kui tahad indeksist kadumist kiirendada). See on normaalne vastus ja Google ütleb otse, et 404-de olemasolu saiti otsingus ei alanda. 301-ümbersuunamine tehakse ainult siis, kui olemas on konkreetne sama tähendusega asendusleht: teine tootekaart, liidetud artikkel või sama sektsiooni uus aadress.
Kõige sagedamini näen viga, kus kustutatud lehed suunatakse avalehele «et vigu poleks». Google nimetab seda soft 404-ks ja eemaldab sellised aadressid indeksist täpselt samamoodi nagu tavalised 404-d — lisaks kaotad kasutaja, kes sattus mujale, kui plaanis.
Mida iga serveri vastus tegelikult tähendab
| Vastus | Tähendus Google'i jaoks | Millal sobib |
|---|---|---|
| 404 Not Found | Lehte pole; võib-olla tuleb tagasi | Asenduseta kustutatud leht, kirjaviga aadressis, vana URL võõralt lingilt |
| 410 Gone | Lehte pole ja ei tule | Terve sektsiooni kustutamine, tootmisest maha võetud tooted, suletud esindused |
| 301 Moved Permanently | Sisu kolis jäädavalt uuele aadressile | Olemas on sama tähendusega asendus: URL-i muutus, lehtede liitmine |
| 302 / 307 | Ajutine kolimine, vana aadress jääb peamiseks | Hooldustööd, A/B-test, ajutine vahelehekülg |
| 200 tekstiga «lehte ei leitud» | Leht on olemas ja sisaldab sisu | Mitte kunagi — see on klassikaline soft 404 |
Viimane rida on kõige sagedasem tehniline viga saitidel, mida ma läbi vaatan. CMS või mall annab ilusa «Midagi ei leitud» lehe koodiga 200 ja Google näeb tuhandeid erinevaid aadresse ühesuguse tühja sisuga. Formaalselt on need duplikaatlehed, sisuliselt prügi, mis sööb roboti aega. Kontrollida saab minutiga: ava teadlikult olematu aadress kujul sait.ee/kontroll-404-adlab ja vaata vastuse koodi arendaja tööriistade Network-vahelehelt.
Millal 301 ja millal 404: ainus töötav kriteerium
Kriteerium on üks: kas kustutatud lehel on aus asendus, mille pärast kasutaja tuli. Mitte «midagi sarnast», vaid midagi, mis katab sama päringu.
- Toode on tootmisest maas, aga uus mudel on olemas → 301 uuele mudelile.
- Toode on maas ja analoogi pole → 404 või 410, 404-lehel näita kategooriat ja otsingut.
- Artikkel liideti teisega, tekst kolis → 301 liidetud artiklile.
- Teenust enam ei osutata → 404, link menüüst maha.
- Sektsioon nimetati ümber, sisu sama → 301 uuele aadressile.
- Leht on ajutiselt kättesaamatu → 200 või 503, mitte 404 ega ümbersuunamine.
Kontroll on lihtne: kujuta ette, et inimene tuli otsingutulemuste lingilt. Kui ta näeb pärast ümbersuunamist seda, mida otsis, on ümbersuunamine õigustatud. Kui ta näeb avalehte või juhuslikku kategooriat, oled 404-i lihtsalt ära peitnud ja olukorda halvemaks teinud.
Eraldi märk sellest, et ümbersuunamine on liigne: sa ei suuda sihtlehte nimetada, ütlemata «no sinna, kuhu kõik ülejäänu». See tähendab, et asendust pole — jäta 404.
Mida 404 päriselt rikub ja kuidas seda parandada
Vastuse kood ise on kahjutu. Kahju teevad kolm asja selle ümber.
Siselingid olematutele aadressidele. Menüü, jalus, vanad artiklid ja «sarnaste toodete» plokid viitavad kustutatud lehtedele edasi. Robot käib neid mööda, kaal valgub tühjusesse ja kasutaja põrkab seina. See on sama distsipliin nagu sisemine linkimine, lihtsalt vastupidise märgiga: seal lisad linke, siin võtad maha.
Read sitemap.xml-is. Sisukaart tohib sisaldada ainult aadresse, mis vastavad 200-ga. Kustutatud leht peab kaardilt kaduma samal päeval — muidu kutsud Google'i sõna otseses mõttes külastama seda, mida pole. Kaardi koostamise reeglid võtsin lahti artiklis sitemap.xml ja robots.txt seadistamine.
Välislingid kustutatud URL-ile. Kui lehele viitavad teised saidid, nullib 404 selle kaalu. See on ainus juhtum, kus 301 on õigustatud ka ilma ideaalse asenduseta: parem suunata link teemalt lähedasele lehele, kui see täiesti kaotada. Selliseid aadresse leiab Search Console'i lingiaruandest — sorteeri viitavate domeenide arvu järgi ja kõrvuta vastusekoodidega.
Mida teha ei ole vaja: jahtida nulli Search Console'i aruandes «Ei leitud (404)». Google käib vanu aadresse üle kuid ja aastaid, sealhulgas neid, mida sul kunagi polnudki — see on normaalne. Vaadata tuleb mitte üldarvu, vaid kahte alamhulka: aadressid, millele viitavad sinu enda lingid, ja aadressid, mis varem liiklust tõid.
Mida ma teen massilise kustutamise puhul
Kataloogides ja sisu puhastamisel ei kustutata lehti ükshaaval, vaid sadade kaupa. Järjekord, milleni ma oma projektidel jõudsin:
- Ekspordin kustutatavate URL-ide nimekirja ja kõrvutan selle Search Console'i viimase 12 kuu andmetega — millised aadressid andsid näitamisi ja klikke. Elava liiklusega lehed panen eraldi: nende kustutamine vajab põhjendust, mitte automatiseerimist.
- Liiklusega lehtedele otsin asenduse käsitsi. Kui asendus on — 301. Kui pole — 404, teadmisega, et liiklus kaob.
- Ülejäänu katan 410-ga ühe reegliga, mitte tuhande reaga konfiguratsioonis. Tuhandete eraldi ümbersuunamiste nimekiri on allikas ahelatele ja konfliktidele, mille tõttu lehed indeksist välja jäävad ja mida hiljem keegi lahti ei harutata.
- Korjan siselingid ära crawler'iga: kuni kustutatud aadressile viitab kas või üks link saidilt, on ta roboti jaoks elus. Samal ajal kontrollin, kas jäi orblehti — pärast massilist kustutamist katkevad kataloogi seosed tihti mitte seal, kus ootad.
- Uuendan sitemap.xml-i ja ootan. Indeksist kadumine võtab mõnest päevast paari kuuni, olenevalt sellest, kui tihti robot neid aadresse külastab.
Aus rakendatavuse piir: see kord on mõeldud tuhandete kuni kümnete tuhandete lehtedega saitidele. Paarisaja lehega projektil on pool sammudest liigne — seal on lihtsam nimekiri käsitsi läbi käia. Miljonilistes kataloogides ei lahene punkt 4 automatiseerimisega ja nõuab eraldi tööd struktuuriga.
Milline peaks 404-leht välja nägema
Vastuse kood on pool asja, teine pool on see, mida inimene näeb. Töötav miinimum, mille ma projektidele panen:
- aus 404 vastuse päises (kontrolli, ära usu malli);
- arusaadav lause ilma tehnilise žargooni ja ilma huumorita, mis vananeb;
- lingid peamistele sektsioonidele ja töötav saidiotsing;
- alles jäetud päis ja menüü — inimesel peab olema võimalik edasi liikuda;
- mitte mingit automaatset ümbersuunamist avalehele mõne sekundi pärast.
Ja üks reegel, mis närve säästab: 404-lehte ei tohi robots.txt-ga indekseerimisest sulgeda. Kui robot ei saa seda külastada, ei saa ta teada, et leht on kustutatud, ja hoiab aadressi indeksis kauem. Sama kehtib lehtede kohta, mida kustutad — need peavad jääma robotile ligipääsetavaks, mitte blokeeritud. Kui sait tehakse nullist ja need asjad tahaks kohe paika panna, on see osa veebiarendusest, mitte kosmeetika valmis malli peal.
