Dva roky boje se subdoménami značek. Extrémní situace a protiopatření při hromadném odstraňování a přesunu 60.000 subdomén a trilionů duplicit. Jak se to povedlo a co všechno obnášela naše práce se dozvíte na následujících řádcích.
Řízená SEOcida je třetí díl ze série textů Satan, SEO a Subdomény. V předchozí části s podtitulem Protinádorová SEOterapie jsme popisovali chirurgickou operaci 1000 parametrických subdomén generujících duplicity. Zákrok byl sice úspěšný, ale na kompletní zastavení nákazy webu nedostačující. Polní nemocnici jsme proto zavřeli a pustili se do přípravy strategie hromadného ničení.
V rychlosti si pojďme zopakovat přehled čtyř hlavních typů subdomén Heureky:
www, m, blog, info) ~20 subdomén.notebooky, mobilni-telefony, elektronika) ~2500 subdomén.sony, nikon, apple) ~60.000 subdomén.herni-notebook, android-telefony, xbox-360) ~1000 subdomén.V tomto článku popisujeme válku s brandovými subdoménami. Těch vzniklo přibližně 60.000 mezi roky 2009 až 2020 a tvořily 92 % všech našich subdomén. Jsou chvíle, kdy je potřeba zahodit obavy a vrhnout se do boje po hlavě.
Brandové subdomény či také brandové koutky, například nike.heureka.cz, na první pohled vypadaly poměrně neškodně. Několik málo stránek se zastaralým designem a odkazy na kategorie a produkty. Účelem zjevně měla být podpora interního prolinkování.
Značek, respektive koutků, jsme měli kolem 60.000. Každý koutek po 4–8 stránkách. Všeho všudy jsme očekávali maximálně 500.000 URL k přesměrování na nový cíl. Konkrétně na URL typu https://www.heureka.cz/znacky/nike/. Tedy hezky strukturované pod www subdoménu a slug /znacky/. Nic složitého.
Detailnější průzkum odhalil problémy v záložce “Kategorie.“ Tam byly vypsány všechny kategorie, ve kterých se nacházel jakýkoliv produkt dané značky. A některé značky mají opravdu široký záběr. Například produkty Nike se nachází ve více než 150 kategoriích. Od všemožného oblečení a obuvi, přes parfémy, sprchové gely, až po láhve na pití, ručníky nebo fotbalové míče.
Pro každou takovou kategorii existovala v brandovém koutku vlastní URL, která vypadala takto https://nike.heureka.cz/batohy/ (dále budeme označovat jako "brandová kategorie"). Dataset URL k přesměrování vzrostl na 1–2 milionů URL.
Skutečně závažný problém ovšem vyvstal až stránce brandové kategorie https://nike.heureka.cz/batohy/, která vypadala jako naše klasická kategorie se vším, co k ní náleží – parametry, řazení, stránkování a tak dále. Vše postaveno na základu kategorie a brandového filtru. V případě "Batohů Nike" tedy URL https://batohy.heureka.cz/f:4168:25445/. Stejný princip, jako jsme popisovali v předchozím článku o parametrických subdoménách.
Množství nadbytečných a duplicitních URL, které tímto způsobem vznikly, nejsme schopni přesně stanovit. Odhadem se jednalo minimálně o septiliony.2
Brandové kategorie vznikaly duplikací libovolného parametru značky a jejího okolí v kategorii na novou subdoménu. Jak jsme již zmínili, jednalo se o stejný princip, který jsme detailně řešili u parametrických sekcí, jen mnohonásobně znásobený. Pro rychlé připomenutí obrázek níže. Parametrické sekce vznikly duplikací nějakého filtru v kategorii. Třeba Batohy + Červené -> cervene-batohy.heureka.cz.
Parametrické sekce se zakládaly manuálně, zpravidla z jednoho parametru v jedné kategorii. Oproti tomu brandové kategorie vznikaly automatizovaně pro všechny značky ve všech kategoriích. Tento princip demonstruje obrázek níže. Například ze všech kategorií, kde se nacházely produkty značky Nike, vznikaly v brandovém koutku Nike (nike.heureka.cz) také příslušné brandové kategorie. Batohy + Nike -> nike.heureka.cz/batohy/. Parfémy + Nike -> nike.heureka.cz/parfemy/.
Měli jsme cca 2500 kategorií a 60.000 značek. Brandově-parametrických duplikátů, respektive brandových kategorií, tím pádem vzniklo několik stovek tisíc.
Brandové kategorie měly ještě jedno specifikum. Byly podporovány chybně nastaveným canonicalem v klasické kategorii. Tedy třeba stránka „Batohy Nike“ na URL https://batohy.heureka.cz/f:4168:25445/ obsahovala canonical, který vedl do příslušného brandového koutku na URL https://nike.heureka.cz/batohy/.
Místo toho, aby byly logicky podporovány a jako kanonické stanoveny kategorie s filtry, tak z nějakého důvodu docházelo podpoře duplicit.
Vyhledávače tento canonical v zásadě ignorovaly. Respektivě minimálně z pohledu běžného očekávání, jak by měl canonical fungovat. URL s brandovým filtrem v kategoriích byly indexované ve větší míře a rankovaly obvykle lépe. Ale často docházelo i k divokým změnám pozic, chvíli rankovala jedna či druhá adresa. Prostě chaos, což je klasický následek duplicit a chybně nastaveného canonicalu. Asi nejdůležitější negativní rolí canonicalu bylo, že pomáhal robotům v odhalování neustále nových adres v rámci brand koutků a podporoval jejich indexaci.
Stále nekončíme. Brand koutky a brand kategorie patřily mezi nejstarší součást Heureky a špatně udržitelného monolického kódu. V průběhu let tam docházelo k různým chybám, které neustále zvětšovaly celkový objem URL prostřednictvím spider traps.
Potýkali jsme se různými řetězeními chybových URL. Například když v důsledku jedné úpravy generování URL začaly vznikat adresy jako https://nike.heureka.cz/batohy/?o=4//// nebo https://nike.heureka.cz/batohy/?o=4/////&f=2/////////, kdy se zacyklilo chybně aplikované pravidlo na koncová lomítka a ty se postupně přidávala za všechny otazníkové parametry až do nekonečna.
Ovšem nejzávažnější chybou bylo, když se v brandových kategoriích ojevily i filtry na další značky. Takže třeba v brandové kategorii "Batohy Nike" bylo najednou možné filtrovat veškeré jiné výrobce batohů. Běžné kategorie byly tím pádem rozkopírované na mnoha místech. V kategorii "Batohy" je cca 300 značek. To znamená, že daná kategorie byla rozkopírovaná v téměř 300 brand koutcích. Brandové kategorie nejen pozbyly jakýkoliv význam, ale hlavně počet URL opět vyrostl řádově minimálně na noniliony. Dál ani nemělo smysl zkoušet něco počítat.
Možná si teď říkáte, jestli to s těmi čísly už trochu nepřeháníme. Nonilion je přece 1.000.000.000.000.000.000.000.000.000.000. Tedy 10^30.4 No, nepřeháníme. Ještě totiž nepadla jedna informace.
Možná už jste slyšeli, že na pořadí filtrů a jejich hodnot v URL záleží. A záleží na tom opravdu hodně. Budeme demonstrovat na zjednodušeném příkladu. Máme URL brandové kategorie nike.heureka.cz/batohy. Tam existuje třeba parametr p, který může nabývat hodnot v rozpětí 1–3. Takto:
Na ukázce výše jsou uvedené kombinace5 tří hodnot parametru, což ústí v celkový počet 7 URL.
Co kdyby, ale hodnoty parametru neměly v URL pevnou pozici a mohly vytvářet variace6 a permutace7? Takto:
Najednou je výsledkem 15 URL. Jak můžete vidět v tabulce níže, počty v tomto případě narůstají opravdu dramaticky.
| Počet možností (filtrů, hodnot filtrů) | Kombinace | Variace / permutace |
| 1 | 2 | 2 |
| 2 | 4 | 5 |
| 3 | 8 | 16 |
| 4 | 16 | 65 |
| 5 | 32 | 326 |
| 6 | 64 | 1957 |
| 7 | 128 | 13 700 |
| 8 | 256 | 109 601 |
| 9 | 512 | 986 410 |
| 10 | 1024 | 9 864 410 |
Vznik variací a permutací filtrů a jejich hodnot byla také jedna z chyb, které se v brandových kategoriích vyskytovaly. Již jsme zmínili, že v kategorii Batohy je mimo mnoho jiný filtrů i cca 300 značek. Výsledkem variací a permutací 300 hodnot pouze jednoho typu filtru a to celé krát 300 duplicitních kategorií je absolutně nepředstavitelná zvrhlost.
Pojďme si pro přehlednost shrnout, co všechno se tedy stalo v rámci brandových koutků, respektive brandových kategorií, a s jakými podmínkami začínáme podnikat změny.
Alespoň pro rámcovou představu na obrázku níže demonstrujeme, jak to přibližně vypadalo.
V prvním článku jsme zmiňovali pojem "hrana chaosu".9 Tu jsme už dávno přesáhli a nejspíš překročili i hranici absolutního webového šílenství. Obrázky fraktálu10 vlastně reprezentují popisovaný stav poměrně výstižně.
Veškeré duplicity kolem brand koutků musely jít bezpodmínečně pryč. Kapacitně nebylo příliš mnoho prostoru na nějaké zdlouhavé testování a experimentování, protože ve stejném období se navíc připravoval i velice náročný přesun z mobilní subdomény na responzivní design. Celou akci se nám podařilo alespoň rozdělit do tří fází, plus rychlý úvodní test na menším vzorku.
Parametrické sekce jsme upravovali a přesměrovávali postupně po menších dávkách. U brand kategorií jsme do toho šli naplno, byť s obavami. Na začátku jsme provedli rychlý test na vybraném vzorku URL. Po víceméně pozitivní reakci ze strany botů vyhledávače a organicu jsme všechny změny dělali již hromadně pro všech 60.000 brand koutků a další fáze zahajovali vždy v řádu několika týdnů.
První krok v procesu bylo „otočení“ canonicalů. Na stránkách normální kategorie jsme chybný canonical nahradili za klasický self canonical. V brand kategoriích jsme pak kanonickou URL vedli do kategorie.
Efekt nebyl nijak závratný. Dopad na organic nulový. Asi nejzajímavější vliv jsme pozorovali v průběhu testování u Seznambota (zelená na grafu níže), který začal dané části webu crawlovat poměrně intenzivněji. U Googlebota jsme zaznamenali výkyv pouze první 1–2 dny po změně.
Na větším vzorku dat a v delším časovém horizontu bylo později trochu vidět, že po změně canonicalu roboti začali o něco méně crawlovat brand kategorie a věnovat trochu více pozornost URL v běžných kategoriích. Ale nic co by stálo za řeč. Spíše se jednalo o takovou pojistku a přípravu na přesun.
Tím jsme si i potvrdili, že canonical není vhodný způsob řešení problémů. Chybný canonical je skvělá cesta, jak robota upozornit na nevhodné URL a problematická místa na webu. Opravou canonicalu už ale zpětně skoro ničemu nepomůžete. Vlastně je lepší nemít canonical vůbec, než ho mít špatně.
Druhým krokem bylo opravení všech interních odkazů na brand kategorie napříč celou Heurekou.
Zajímavá jsou data z access logů v Kibaně. Seznambot (modrá) na změnu interních odkazů reagoval krátkodobě zvýšenou aktivitou v brand kategoriích (vlevo) i v běžné kategorii s brand filtrem (vpravo). Googlebot (zelená) až na jeden výkyv prakticky nijak nereaguje.
A opět se nic zajímavého neděje. Žádný pozorovatelný dopad na organic.
Ve třetí fázi konečně došlo na přesměrování brandových kategorií i samotných brand koutků. Pro brand koutky vznikly nové URL. Brand kategorie se nasměrovaly do kategorií.
Brand koutky: https://nike.heureka.cz/ -> 301 -> https://www.heureka.cz/znacky/nike/
Brand kategorie: https://nike.heureka.cz/batohy/ -> 301 -> https://batohy.heureka.cz/f:4168:25445/
Zajímavé bylo, že ani tento krok nevedl k nějaké dramatické změně. Brand koutky měly natolik malou návštěvnost a zjevně i dost malý význam. Překlopení trafficu pomohlo trochu navýšit konverzní poměr. Ale z pohledu organicu jsme si nijak významně nepomohli. Trochu zklamání. Nicméně to stejně nebylo hlavním účelem. Cílem bylo zbavit se subdomén, optimalizovat crawl budget a odstranit masivní duplicity, což se podařilo.
Zajímavější bylo, že po přesměrování nedocházelo k nějakému masivnějšímu crawlování přesměrovaných URL. Minimálně u Googlebota to spíše vypadalo, jako by si vzal jen vzorek přesměrování a pomocí nějakého mechanismu podobnému interpolaci12 si jednoduše dopočítal zbytek. Dané problematice se budeme věnovat i v příštím článku.
Je nutné poznamenat, že naše vyhodnocování mělo silné nedostatky. V průběhu popisovaných změn totiž byly průběžně implementovány i další úpravy, které souvisely s testováním nové responzivní verze kategorie. Často se trefily do stejného časového období. Některé vedle ke kompletní disrupci našich testů a časový pres nám neumožnil udělat nový test. Toto extrémně ovlivnilo možnost dosáhnout kvalitnějšího vyhodnocení a klidnějšího spánku. Tak už to ale u podobných projektů chodí.
Hlavní závěr je takový, že změna byla veskrze pozitivní.
Památné vítězství se odehrálo na konci června 2020. Žádná velká akce se ale neobejde bez následků. Zvlášť pokud jste nebyli dostatečně důslední. Může to trvat týdny nebo měsíce, než se problém projeví.
Se starými brand koutky jsme museli ještě chvíli žít. V podobném odbdobí jsme připravovali nové sitemapy a odkazy na subdoménové koutky stále existovaly ve starých sitemapách, které nešlo hned zahodit. Tři měsíce po redirectech ještě stále sitemapy sloužily jako zdroj nevhodných URL. Nic moc vážného. Ale měla to být jen nenápadná předzvěst, že problematiky brand koutků se jen tak nezbavíme.
V průběhu Vánoc 2020 se kvůli drobné chybě v kódu vše objevilo znovu v plné síle. Konkrétně na URL nových brand koutků www.heureka.cz/znacky/calvin-klein se začaly generovat i brandové kategorie. Například https://www.heureka.cz/znacky/calvin-klein/zimni-cepice/f:8582:806096/?f=3.
Naráz se objevilo tolik URL že nás boti absolutně zahltili obrovským množstvím requestů až začalo docházet k výpadkům webu. Vše se podařilo zablokovat a časem přesměrovat.
Situaci jsme řešili až do února 2021. Dodnes vůbec nevíme, jak se vlastně boti na tyto URL dostali, protože nebyly žádnou nám známou přirozenou cestou dostupné. Teoreticky se opět mohlo jednat o nějaký jev podobný interpolaci URL, kde bot mohl zkoušet různé URL patterny a ve chvíli, kdy narazil na aktivni URL, tak začal s crawlingem.
V květnu 2021 se v reportech znovu začínají objevovat funkční staré brandové kategorie jako cser-kiado.heureka.cz/knihy/ nebo fprice.heureka.cz/podprsenky/. Již ale jen v této základní podobě bez filtrů. Stále totiž existoval kód, který generoval brand koutky a kategorie pro nové značky. A soupis subdomén k přesměrování byl pouze statický.
V červnu 2021 se zase potýkáme s problémy s URL brand kategorií, které obsahují řazení makita.heureka.cz/baterie-k-aku-naradi/?o=2.
Proběhla kontrola kompletní pravidel přesměrování a přidali jsme do redirectů nové typy adres a nové subdomény.
Další památné datum je 19. června 2021, kdy se podařilo spustit nové koutky v responzivním designu.
Radost netrvala dlouho. O měsíc později stále řešíme problémy popsané v předchozí sekci. Zjistili jsme, že na našich satelitních webech jsou generovány nové odkazy na subdomény, které stále vznikají po založení nové značky. Odkazy ze satelitů jsou smazány. Ale příčinu se stále nedaří vyřešit a původní kód koutků i nadále existuje.
Poslední výskyt subdoménových brand koutků se odehrál v polovině roku 2022. Část kódu, který je vytvářel, byla stále funkční a nové koutky na subdoménách i nadále vznikaly.
Tentokrát se už podařila opravdu kompletní oprava i s pojistkou, že se koutky znovu v žádné podobě nevrátí. Snad.
Všechny popsané peripetie jsou důkazem, že na přesměrované URL není možné jen tak zapomenout. Zvlášť pokud se jedná o tak obrovské objemy. Existuje sice nějaký poločas rozpadu13, kdy bot postupně přesměrované URL navštěvuje čím dál méně, vše mizí z indexu, zanikají zpětné odkazy a tak dále. Potrvá ovšem roky, než vyhledávače postupně URL zcela zahodí a vše opravdu zanikne. Přesměrování budeme držet minimálně 5–10 let. V ideálním případě navěky.
Práce na brand koutcích a brand kategoriích probíhaly přibližně mezi roky 2019–2020. Díky různým dalším problémům se protáhly až do roku 2022. Ve stejný čas se odehrávaly další velké změny. Konkrétně velice náročný přesun z mobilní subdomény, o kterém bude řeč v příštím článku. Také kompletní změny a modernizace sitemap, vývoj redirectovacího nástroje.
Stíhat všechno jen ve dvou lidech občas nebylo jednoduché. Jeden by nejspíš moc neměl šanci takový nápor ustát.
Poučení 1: Plánujte. K práci mějte respekt a všechno precizně plánujte. Velkých změn se není nezbytně nutné obávat. Pokud je naplánujete a provedete správně a skutečně vedou k zásadnímu vylepšení webu, tak eliminujete hodně rizik.
Poučení 2: Dělat sólo nefunguje. Na podobné akce jsou potřeba minimálně dva lidi. Práce, komunikace, vyhodnocování a plánování zabere obrovské množství času. Dá se v tom jednoduše ztratit. Krom toho vždycky děláte několik věcí zároveň – pracujete na vyhodnocení starších změn, řešíte plány na rok dopředu a hromadu ad hoc věcí, které jsou zrovna aktuální. Tohle jeden člověk prostě neutáhne.
Poučení 3: Stres. Další důvod proč jsou lepší alespoň dva lidi je rozložení stresu a více pohledů na danou věc. U velkých změn je potřeba mít více názorů, mít možnost diskutovat a argumentovat i jinak než sami sebou. Krom toho vzájemná podpora váš plán potvrdí, dodá vám sebejistotu a větší klid.
Poučení 4: Detaily a příčina. Řešte vše do nejmenších detailů. V SEO se často řeší jen důsledky nějaké chyby. Ale je nutné vyřešit vše od příčiny, samotného jádra, kde problém vzniká. Jinak se to s vámi potáhne dlouhé roky.
Poučení 5: Kompromisy. Nevlétněte do něčeho po hlavě. Nenechte se donutit k ústupkům, se kterými jste silně nekomfortní. Některé úpravy je prostě nezbytně nutné testovat, a rozfázovat. Není váš problém, že s tím někdo bude mít práci navíc. To je problém firmy, která od vás očekává výkon v oblasti SEO.
Stejně jako minule se opět nejvíce pohybujeme v oblasti komunikace a plánování. Perfektní znalost technikálií je nutností a samozřejmostí. V případě, že byste se někdy ocitili v situaci, kdy si nevíte rady, tak si hlavně přiberte něhoko na pomoc. Není to ostuda. Naopak.
Možná vás zajímá, jaké jsme používali v průběhu této práce nástroje. Uvádíme proto stručný soupis.
Přesměrování brandových subdomén je největší změna, kterou jsme provedli. Zbavili jsme se 92 % z celkového původního počtu subdomén. Úbytek duplicitních URL se pohybuje v řádech téměř nevyslovitelných čísel.
Válečné tažení tímto můžeme prohlásit za úspěšné a ukončené. Další v pořadí je mobilní subdoména, o které pojednává článek s názvem "Jedna vládne všem".
K textu přistupujte obezřetně. Tento článek a celý seriál neslouží jako návod. Texty neobsahují žádné „univerzální“ pravdy. Každý web představuje unikátní systém s různými výchozími podmínkami. Je nutný individuální přístup a perfektní znalost konkrétního webu i dané problematiky.
Článek popisuje náš web. Nijak nehodnotíme obecnou efektivitu subdomén či adresářů. Ani nedoporučujeme žádné konkrétní řešení. Opět se jedná o silně individuální záležitost, kterou ovlivňuje mnoho faktorů.
Strategie a detailní plány pro některé zde popsané aktivity vznikaly více než rok. Vše bylo mnohokrát diskutováno, průběžně testováno a validováno. Myslete na to, prosím, až budete podobné aktivity sami dělat.
Některá uvedená data mohou být nepřesná a účelově zkreslená. Konkrétní čísla, jako jsou například statistiky organické návštěvnosti, revenue, konverze a podobně, nemáme z pochopitelných důvodů v plánu vypustit ven. Klíčové informace, jako jsou počty subdomén, URL a naše postupy, jsou však uvedeny pravdivě bez přikrášlení.
Texty mohou obsahovat pokročilé koncepty a modely, které nejsou v oblasti SEO úplně standardní. Články je proto doplněny o poznámky pod čarou se zdroji, kde je vše detailně vysvětlené.
Rekognoskace čili průzkum https://cs.wikipedia.org/wiki/Pr%C5%AFzkum. ↩
Viz poznámka 5 u článku https://www.heurekadevs.cz/satan-seo-subdomeny-i-chaos. ↩
Topologie/topografie. ↩
Opět viz poznámka 5 u článku https://www.heurekadevs.cz/satan-seo-subdomeny-i-chaos. ↩
Kombinace https://cs.wikipedia.org/wiki/Kombinace. ↩
Variace https://cs.wikipedia.org/wiki/Variace_(kombinatorika). ↩
Permutace https://cs.wikipedia.org/wiki/Permutace. ↩
Detailnější vysvětlení problematiky tohoto typu spider traps naleznete ve slidech z přednášky Brána do pekla botů https://www.slideshare.net/Chaoticum/brana-do-pekla-botu. ↩
Viz poznámka 15 u článku https://www.heurekadevs.cz/satan-seo-subdomeny-i-chaos. ↩
Viz poznámka 4 u článku https://www.heurekadevs.cz/satan-seo-subdomeny-ii-seoterapie. ↩
Narážka na Manhattan Project https://en.wikipedia.org/wiki/Manhattan_Project. ↩
Interpolace je nepřesné vyjádření daného jevu, ale vhodnější výraz a přirovnání nás nenapadlo. https://cs.wikipedia.org/wiki/Interpolace. ↩
Poločas rozpadu https://cs.wikipedia.org/wiki/Polo%C4%8Das_p%C5%99em%C4%9Bny. ↩
Valečné reparace https://cs.wikipedia.org/wiki/V%C3%A1le%C4%8Dn%C3%A9_reparace. ↩
Zdeněk přišel do Heureky v roce 2018 jako externí SEO specialista na pár hodin týdně. Nakonec tu zaktovil skoro na full-time. Věnuje se pokročilému technickému SEO a analýzám dat. Baví ho psát články, učit se Python a vyvíjet jednoduché nástroje, které pomáhají automatizovat rutinní úkony.
Seznam kategorií
Dej nám follow
Dej nám follow