Co je crawling.

Crawling neboli procházení webu je automatizované navštěvování URL roboty vyhledávačů. Robot načte stránku, získá její obsah, sleduje odkazy a tím postupně objevuje další části webu. Bez crawlingu se vyhledávač o stránce často vůbec nedozví, nebo ji nedokáže správně zpracovat.

V SEO je crawling základní technická vrstva. Pokud robot důležitou stránku nemůže najít, načíst nebo pochopit, nepomůže jí ani kvalitní text, dobře napsaný titulek nebo získané odkazy. Crawling proto úzce souvisí s indexací webových stránek, strukturou webu, sitemapou, robots.txt i výkonem serveru.

Důležité je neplést si crawling s indexací. To, že crawler stránku navštívil, ještě neznamená, že ji Google automaticky zařadí do indexu. A to, že stránka v indexu je, ještě neznamená, že bude mít dobré pozice.

Co je crawler a Googlebot.

Crawler je automatizovaný program, který procházení provádí. Můžete se setkat také s označením robot, bot, spider nebo web crawler. V případě Googlu je nejznámější Googlebot, ale různé systémy mohou používat různé typy crawlerů pro běžné stránky, obrázky, video, reklamy nebo jiné účely.

Crawler při návštěvě URL získává HTML, sleduje technické signály, může stahovat další zdroje potřebné pro vykreslení stránky a z odkazů objevuje nové URL. Jeho úkolem ale není sám o sobě rozhodnout, zda stránka bude první ve výsledcích vyhledávání. Crawling dodává vstupní data pro další systémy vyhledávače.

Crawling, indexace a ranking.

Tyto pojmy spolu souvisejí, ale každý znamená něco jiného. Právě jejich zaměňování často vede ke špatné diagnostice. Když stránka není vidět v Googlu, nemusí být problém v pozicích. Může jít už o problém s objevením, procházením nebo indexací.

Zjednodušeně: vyhledávač URL objeví, crawler ji navštíví, systémy ji zpracují a teprve potom se může řešit, zda se stránka ukáže pro konkrétní dotaz. V rámci technického SEO je proto potřeba hledat, ve které části procesu vzniká problém.

Jak crawler objevuje nové stránky.

Crawler neprochází internet náhodně. Pracuje se známými URL a z nich postupně objevuje další. Novou stránku může najít přes interní odkaz, odkaz z jiného webu, XML sitemap, dříve známou adresu nebo přes další signály, které vyhledávači pomohou URL zařadit do fronty k procházení.

Proto je tak důležité interní prolinkování. Dobře navržený web má jasné cesty z hlavních stránek do kategorií, služeb, článků, produktů a dalších důležitých vstupních stránek. Pokud je důležitá URL schovaná hluboko, nebo na ni nevede žádný běžný interní odkaz, může být pro crawler i uživatele hůře dostupná.

Odkazy zároveň předávají kontext. Není jedno, jestli na stránku vede obecné “více zde”, nebo srozumitelný anchor text, který popisuje cílové téma. Právě proto se crawling potkává i s informační architekturou a článkem o tom, jak navrhnout strukturu webu.

Co znamená crawlability.

Crawlability označuje schopnost webu být dobře procházený roboty vyhledávačů. Dobrou crawlability má web, kde roboti snadno najdou důležité URL, dokážou je načíst, nenarážejí na zbytečné technické překážky a netráví většinu času na stránkách bez hodnoty.

Problém může vzniknout kvůli chybnému nastavení robots.txt, nefunkční navigaci, chybám serveru, nekonečným parametrům, přesměrovacím řetězcům, slabé interní struktuře nebo obsahu, který je pro robota dostupný až po interakci uživatele.

Robots.txt řídí hlavně crawling.

Soubor robots.txt obvykle najdete na adrese typu /robots.txt. Pomocí direktiv můžete podporovaným crawlerům říct, které části webu nemají procházet. Hodí se například pro technické cesty, interní vyhledávání nebo části webu, které nemají být zbytečně zatěžované crawlingem.

Je ale zásadní pochopit rozdíl: robots.txt primárně řídí crawling, ne čisté odstranění URL z indexu. Pokud vyhledávač blokovanou URL zná z jiných zdrojů, může o ní stále vědět. A pokud je stránka zablokovaná v robots.txt, crawler se nemusí dostat k případnému noindex tagu na stránce.

Noindex, nofollow a canonical.

Direktiva noindex slouží k tomu, aby stránka nebyla zařazená do indexu. Aby ji ale vyhledávač mohl respektovat, musí stránku načíst. Proto není dobrý nápad bez rozmyslu kombinovat blokaci v robots.txt a noindex na stejné URL.

nofollow se historicky vysvětlovalo jako instrukce, že crawler nemá následovat odkazy. Dnes je bezpečnější chápat ho opatrněji. Pro řízení architektury webu není vhodné stavět celou strategii procházení pouze na nofollow, protože URL může vyhledávač objevit i jinou cestou.

Canonical pomáhá určit preferovanou verzi podobného nebo duplicitního obsahu. Nejde ale o zákaz crawlingu. Duplicitní URL může Google stále navštěvovat, i když je kanonikalizovaná na jinou adresu. Canonical je důležitý hlavně pro sjednocení signálů a práci s duplicitami.

XML sitemap a crawling.

Sitemap.xml je pro crawlera pomocný seznam důležitých URL. Nenahrazuje interní odkazy, ale u větších webů, nových stránek, článků, produktů a kategorií výrazně pomáhá s objevováním obsahu. U e-shopů může dávat smysl oddělit produkty, kategorie a články do samostatných sitemap.

Do sitemap by měly patřit hlavně kanonické a indexovatelné URL s reálnou hodnotou. Pokud sitemap obsahuje přesměrované stránky, 404, duplicity, noindex URL nebo technické parametry, vytváří zbytečný šum a zhoršuje diagnostiku. Sitemap není příkaz k indexaci, ale kvalitní seznam důležitých adres.

Co je crawl budget.

Crawl budget neboli rozpočet procházení popisuje, kolik pozornosti a požadavků může vyhledávač webu věnovat. U malého firemního webu s desítkami nebo stovkami URL se crawl budget obvykle neřeší do detailu. Mnohem důležitější je obsah, struktura, indexace a základní technická funkčnost.

U velkých e-shopů, marketplace projektů, inzertních webů nebo portálů se statisíci URL už může být crawl budget zásadní. Pokud Googlebot tráví velkou část času na filtrování, řazení, duplicitách, starých URL, kalendářích nebo nekonečných kombinacích parametrů, může se k důležitým stránkám dostávat pomaleji a méně efektivně.

Crawl rate limit a výkon serveru.

S crawl budgetem souvisí také crawl rate limit, tedy omezení rychlosti, jakou může crawler web procházet, aniž by zbytečně zatěžoval server. Pokud server reaguje stabilně a rychle, může zvládat více požadavků. Pokud se zpomaluje nebo vrací chyby, vyhledávač může intenzitu procházení omezit.

U technických auditů proto sleduji nejen počet procházených URL, ale i dostupnost serveru, odezvu, serverové chyby, přesměrování a HTTP stavové kódy. Pro crawling jsou důležité hlavně odpovědi 200, 301, 302, 404, 410 a 5xx.

Stavové kódy a přesměrovací řetězce.

Crawler při návštěvě URL dostává odpověď serveru podobně jako běžný návštěvník. Stavový kód 200 znamená dostupnou stránku. Kódy 301 a 308 signalizují trvalé přesměrování, 302 a 307 dočasné přesměrování, 404 neexistující stránku, 410 odstraněný obsah a 5xx serverový problém.

Samotná 404 není vždy SEO problém. Pokud stránka skutečně neexistuje a nemá vhodnou náhradu, může být 404 správná odpověď. Problémem jsou spíš chybové URL, které mají návštěvnost, odkazy nebo důležitou návaznost ve struktuře webu. Stejně tak není ideální každou starou URL přesměrovat na homepage jen proto, aby “nebyla 404”.

Přesměrovací řetězce crawler také zvládne, ale zbytečně celý proces komplikují. Místo trasy URL A → URL B → URL C → URL D je obvykle lepší vést odkazy rovnou na finální cílovou adresu. Po migraci nebo redesignu proto nestačí nastavit přesměrování. Je vhodné aktualizovat i interní odkazy.

JavaScript a crawling.

Moderní weby často vykreslují část obsahu pomocí JavaScriptu. Google umí JavaScript zpracovávat, takže neplatí jednoduché pravidlo, že vše vytvořené JavaScriptem je automaticky neviditelné. Přesto záleží na provedení. Hlavní obsah, odkazy a navigace by měly být dostupné spolehlivě a bez zbytečných bariér.

Problém může nastat, když se důležité odkazy objeví až po kliknutí, obsah se načítá příliš pozdě, stránka závisí na nestabilním API, server vrací nevhodný stavový kód nebo se z filtrů a parametrů generuje nekonečné množství URL. U JavaScriptových webů proto nestačí kontrolovat jen vizuální výsledek v prohlížeči. Je potřeba ověřit, co crawler skutečně dostane a jak to následně vyhodnotí.

Faceted navigation u e-shopů.

Velké téma u SEO pro e-shopy je faceted navigation, tedy filtrování produktů podle parametrů. Kategorie běžeckých bot může mít filtr na značku, velikost, barvu, cenu, pohlaví, skladovost a další vlastnosti. Pokud každá kombinace vytvoří novou URL, může během chvíle vzniknout obrovské množství adres.

Některé kombinace mohou mít SEO potenciál. Například samostatná stránka pro hledaný typ produktu, značku nebo významný parametr. Jiné kombinace jsou pouze technické a samostatně hodnotu nemají. Tady je potřeba rozhodnout, co má být indexovatelné, co má být dostupné jen pro uživatele, co řídit canonicalem, co omezit v robots.txt a co vůbec negenerovat jako samostatnou URL.

Jak zjistit, jak Google web prochází.

Základním nástrojem je Google Search Console. Ve statistikách procházení můžete sledovat počet požadavků, stažená data, průměrnou dobu odezvy, odpovědi serveru, typy souborů, účel crawlingu nebo typ crawlera. U konkrétní stránky lze použít kontrolu URL a podívat se na poslední crawl, dostupnost pro Google a stav indexace.

Search Console ale neukáže všechno. U větších webů dávají velký smysl serverové access logy. Ty ukazují reálné požadavky, které server obdržel. Díky nim zjistíte, které URL Googlebot opravdu navštěvuje, jak často, jaké stavové kódy dostává a kolik crawlingu padá na zbytečné adresy.

SEO crawlery nejsou Googlebot.

Nástroje typu Screaming Frog umí projít web podobně jako crawler a odhalit technické problémy. Pomohou najít stavové kódy, přesměrování, canonical tagy, interní odkazy, title, meta description, nadpisy, indexační direktivy, hloubku stránek nebo osiřelé URL při kombinaci s dalšími daty.

Je ale potřeba rozlišovat simulaci a realitu. SEO crawler ukazuje, co našel nástroj při vlastním průchodu webem. Neříká automaticky, co přesně navštívil Googlebot. Proto je ideální kombinovat crawler, Search Console, sitemapu, data o indexaci a u větších projektů také serverové logy.

Nejčastější problémy s crawlingem.

Jak zlepšit crawling webu.

Při optimalizaci bych se nesoustředil na to, jak Googlebota přimět k co největšímu počtu požadavků. Lepší cíl je umožnit efektivní procházení správných URL. To obvykle znamená kombinaci technických úprav, lepší struktury, práce s duplicitami a pravidelné kontroly v datech.

• Udržujte logickou strukturu webu a důležité stránky neschovávejte příliš hluboko.
• Interně prolinkujte obchodně důležité kategorie, služby, články a rozcestníky.
• Kontrolujte robots.txt, noindex, canonical a přesměrování.
• Do sitemap dávejte jen důležité, kanonické a indexovatelné URL.
• Omezujte zbytečné parametrické URL, duplicity a prázdné stránky.
• Řešte dlouhodobé serverové chyby, pomalou odezvu a nefunkční stránky.
• Po redesignu nebo migraci aktualizujte interní odkazy na finální URL.
• U velkých webů sledujte Crawl Stats a serverové logy.

Součástí širší SEO analýzy by proto měla být otázka, jestli crawler tráví čas na správných místech. Nestačí vědět, kolik má web URL. Důležité je vědět, které URL mají hodnotu, které mají být v indexu a které jen zbytečně zhoršují čitelnost webu.

Crawling u velkého e-shopu.

Představte si e-shop s desítkami tisíc produktů, tisíci kategorií, stovkami článků, obrovským množstvím filtrů a dlouhou historií odstraněných URL. Pokud crawler tráví většinu času na kombinacích parametrů, starých přesměrováních, stránkách bez skladových produktů a duplicitách, důležité kategorie a nové produkty mohou dostávat méně pozornosti.

U větších e-shopů proto řeším, které URL mají reálnou hledanost, které produkty a kategorie mají být dostupné z navigace, jak pracovat s vyprodanými produkty, jak držet čistou sitemapu, jak nastavit canonicaly a kde má smysl omezit technické varianty. To všechno je praktická práce na crawlingu, indexaci a architektuře webu.

Crawling a AI vyhledávání.

Crawling není jen téma pro klasické výsledky vyhledávání. I když se hodně mluví o AI vyhledávání, základy zůstávají podobné: obsah musí být dostupný, čitelný, jasně strukturovaný a zařazený do kontextu webu. Pokud důležité stránky nejdou dobře objevit nebo načíst, moderní zkratky jako GEO, AIO nebo AEO samy o sobě problém nevyřeší.

Dobrá technická dostupnost, smysluplné interní odkazy, přehledný obsah a důvěryhodné stránky jsou základ pro vyhledávače i pro systémy, které z webu skládají odpovědi, přehledy a doporučení.

Shrnutí.

Crawling je proces, při kterém roboti vyhledávačů procházejí web, načítají obsah a objevují další URL. Je to první praktická brána k tomu, aby mohla stránka projít zpracováním, indexací a následně se ucházet o viditelnost ve výsledcích vyhledávání.

U menších webů často stačí správná struktura, interní odkazy, čistá sitemap, funkční robots.txt a absence zásadních technických chyb. U velkých e-shopů a portálů se přidává práce s crawl budgetem, parametry, faceted navigation, serverovými logy a prioritizací URL. Cílem není maximální počet procházených adres, ale efektivní crawling správných stránek.