SEO Crawl Budgets

Det første og vigtigste skridt i SEO er, at få alle de sider du har publiceret, og som du gerne vil have folk kan finde, indekseret. Og for at få dem indekseret skal de crawles af Google.

Men hvad hvis alle dine sider ikke crawles, eller der går alt for lang tid inden Google opdager dem?

Et af problemerne kan være dit ”crawl budget”.

Se også video nedenfor …

Hvad er crawl budgets?

Crawl budget er et udtryk der bruges om antallet af sider, som Google vil crawle fra dig website.

Mange folk er unødigt bange for crawl budgets og frygter at Google ikke har kapacitet til at crawle hele deres website hurtigt nok.

Men det er faktisk slet ikke det, som er problemet med crawl budgets. Google kan crawle websites ekstremt hurtigt. Jeg har haft kunder med meget store sites, som Google crawler med et gennemsnit på 250 sider i sekundet!

Problemet er, at det langt fra er sikkert, at Google vil crawle så mange sider fra dig website, og det er stor risiko for at du spilder store dele af dit crawl budget på crawling af URL’er der alligevel ikke skal indekseres.

Så du behøver bestemt ikke at være panisk angst for crawl budgets – men der er dog nogle ting, som du ui alle fald bør have styr på, så du ikke spilder crawling kapacitet på de forkerte sider.

Så her følger lidt gode tips …

Populære websites crawles mere

Antallet af sider Google crawler fra et website er bl.a. afhængigt af, hvor populært det er. Hvis mange linker til dig, øges sandsynligheden for et højt crawl budget.

Så det er endnu en grund til, at linkbuling er nødvendigt.

Langsomme websites crawles langsommere

Hvis dit website er tungt og din server svarer langsomt, så vil Google regulere hastigheden de crawler med ned. Det gør de for ikke at overbelaste din server. Så det er jo sådan set OK. Det er bare noget skidt, hvis du gerne vil have så mange sider crawlet og indekseret, så hurtigt som muligt.

Undgå duplicate content

Hvis de samme unikke sider kan tilgås via forskellige URL’er – f.eks. med og uden www i domænet, via helt forskellige domæner, med og uden / til slut i URL’en, eller samme produktsider i forskellige produktkategorier, så har du et duplicate content problem.

Når Google finder identiske eller næsten identiske varianter af dine sider, så vil de som regel kun indeksere en enkelt af dem. Men de skal stadig crawle dem alle for at se det. Så derfor spilder du en masse crawl budget.

Ekskluder crawling af sider med Robots.txt

I din robots.txt file kan du angive sider eller parametre på URL’er, som du ikke ønsker Google skal crawle. Det er en meget effektiv måde at undgå, at du spilder dit crawl budget på sider der alligevel ikke kan eller skal indekseres.

På webshops er det f.eks. en god ide, at udelukke fsorterings-og filtrerings-parametre, så Google ikke skal spilde crawling kapacitet på at crawle alle de mange variationer af samme sider.

Der kan være mange andre tilsvarende problemer på et site og det er derfor at du gennemgår det omhyggeligt og får opsat regler i din robots.txt der sikrer den mest effektive crawling.

 404 og soft 404 sider

Sider der ikke findes mere skal enten returnere en 404 – Not Found kode, eller redirecte til en alternativ side. Hvis ikke dette er opsat korrekt kan du risikere at spilde crawl budget.

Soft 404 sider er et særligt problem. Det kan f.eks. være webshop kategorier uden produkter, og hvor du skriver ”Ingen produkter” (eller ”no products found”). Google læser dette og fortolker det som en slags 404 side – en død side. Men da serveren ikke returnerer en rigtig 404 header, så registrerer de det som en ”soft 404” side.

Alt dette skal du have styr på!

XML sitemaps

Hvis du bruger XML sitemaps er det vigtigt, at det altid er up-to-date! De sider du vil have crawlet og indekseret skal være inkluderet. Og gamle sider der er fjernet, skal ud!

Ellers risikerer du, at spilde crawl budget.

Redirect chains

Redirects kan være glimrende, når de bruges rigtigt. Men du skal undgå redirect-chains – flere redirects efter hinaden!

Så hvis en side nedlægges, og du redirecter den, og senere nedlægger den og redirecter den (A til B til C), så bør du gå tilbage til den første URL og redirecte den direkte til den sidste (A til C). Ellers spilder du crawler kapacitet.

Brug Google Search Console

Her kan du få mange flere detaljerede informationer om crawlingen af dit website, hvilke sider der svarer korrekt og om du har redirects, 404 og soft 404 sider, som måske skal rettes.

Du kan også se om Google har fundet malware på dit website – altså nogle, som har hacket dit website og måske oprettet sider, som ikke er dine. Hvis det sker risikerer du at spilde crawl budget (udover de sikkerhedsmæssige risici der også er ved det).

Se video om crawl budget

Videoen nedenfor er en forkortet lektion fra mit SEO kursus SEO Master Class hvor jeg bl.a. går i dybden med alle de mange tekniske SEO aspekter.