"+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Philip Løvland:

Det er selvfølgelig op til dig at gøre som du vil - men nu har du fået (faktisk meget udførligt og tålmodigt af Thomas) svar på dit spørgsmål, at det er en rigtig dårlig ide. Så kan du tage det til efterretning eller lade være - men du finder ikke en seo-ekspert der vil sige at det du foreslår er en god ide, uanset hvor meget du så argumenterer for det.

Lige præcis.

Faktisk overvejer vi stærkt at blokere indeksering af URL-parametre generelt i vores robot.txt fil, da vi i forvejen har rigeligt med produkt og kategorisider som indekseres.

Philip Løvland:

Eller endnu bedre så gør det med hjælp af no-index på url-niveau så alle søgeresultater får smidt noindex, follow i headeren, det vil være den bedste løsning

Hvorfor er det bedre?

I hvilke situationer er en angivelse af "Disallow: /*?*" i robot.txt ikke effektiv i forhold til Google-bot og Bing-bot indeksering?

Philip Løvland:

Eller endnu bedre så gør det med hjælp af no-index på url-niveau så alle søgeresultater får smidt noindex, follow i headeren, det vil være den bedste løsning

Det vi nu har besluttet os at gøre er at både angive i robot.txt og tilføje meta i headeren.

Rent praktisk har vi programmeret CMS systemet til at angive header tagget: <meta name="robots" content="noindex">

på alle sider hvor URL´en indeholder parametre, og i robot.txt har vi tilføjet linjen: Disallow: /*?*

Desuden har vi i Google Search Console indstillet samtlige registrerede URL parametre til at Google ikke skal gennemgå sider der indeholder disse.

Så bør vi være godt dækket ind :)

Vi vil selvfølgelig monitorere siden i Google Search Console det næste stykke tid og se hvordan disse ændringer træder i kraft.

Du må meget undskylde, hvis jeg er for direkte her, men du ved skræmmende lidt om området i betragtning af, at du sælger webløsninger.

For det første: Når du sætter en URL til disallow i robots.txt, kommer googlebot IKKE ind og læser det, du skriver i et meta robots tag! Naturligvis - for du har jo netop blokeret deres adgang til at crawle indholdet og dermed også meta robots. Det er således en markant brøler at disallow og samtidig sætte et robots meta tag.

For det andet har du jo fået forklaret, at fordelen ved KUN at benytte meta robots "noindex" er, at den pågældende URL så ikke kan optræde i Googles indeks, MEN at googlebot stadig følger de interne links, der er på den URL.

Når du skriver:

"I sidste ende er den optimale løsning at gøre som vi har gjort det, altså at både lave korrekt angivelse i robot.txt samt tilføje meta-tagget på de ønskede sider, og så til sidst gå i Google Search Console og lave de fornødne indstillinger."

- så er det simpelthen så galt, som det kan være. Egentlig havde jeg besluttet at tie stille, men det er da synd og skam, at du arbejder videre i din vildfarelse, som dine kunder ikke kan gøre for. Derfor dette sidste forsøg på at lære dig at forstå, hvad og hvordan der arbejdes med robots.txt kontra meta robots tag.

https://www.concept-i.dk/blog/sadan-bruger-du-robotstxt.html

Mikkel Olsen:

Philip Løvland:

Eller endnu bedre så gør det med hjælp af no-index på url-niveau så alle søgeresultater får smidt noindex, follow i headeren, det vil være den bedste løsning

Med din foreslåede løsning med at angive no-index på "URL-niveau", går jeg ud fra at du egentlig mente dynamisk angivelse af meta-tag på framework-niveau, altså genereret i evt. CMS ved hjælp af eks. PHP eller .net, præcis som vi har gjort det. Og så snakker vi jo egentlig om det samme :)

Det er præcis det jeg mener - kært barn har mange navne, pointen er bare at den enkelte URL skal indeholde noindex.

Mikkel Olsen:

Ifølge Google´s egne direktiver er meta-tagget: <meta name="robots" content="noindex">
den mest effektive løsning, hvis du ønsker at indholdet ikke skal indekseret.

Så har du jo også selv fundet svaret - så skal du bare gøre det, og ikke så meget andet :-)

Mikkel Olsen:

I sidste ende er den optimale løsning at gøre som vi har gjort det, altså at både lave korrekt angivelse i robot.txt samt tilføje meta-tagget på de ønskede sider, og så til sidst gå i Google Search Console og lave de fornødne indstillinger.

Det har Thomas vist meget fint svaret på - det du foreslår er ikke en holdbar løsning, og at "nøjes" med at sætte noindex på den enkelte dynamisk genererede url er rigeligt

Jeg giver op så. Hvis du ikke kan forstå, at disallow jo netop gør, at Google ikke crawler noget indhold udover title tag og URL sti, er der ikke noget, jeg kan gøre ved det. Google vil således ALDRIG komme ind og læse dit "noindex".

Please note that if you do both: block the search engines in robots.txt and via the meta tags, then the robots.txt command is the primary driver, as they will not crawl the page to see the meta tags.

Rigtig meget held og lykke - ikke mindst til dine kunder.

Thomas Rosenstand:

Jeg giver op så. Hvis du ikke kan forstå, at disallow jo netop gør, at Google ikke crawler noget indhold udover title tag og URL sti, er der ikke noget, jeg kan gøre ved det. Google vil således ALDRIG komme ind og læse dit "noindex".

Rigtig meget held og lykke - ikke mindst til dine kunder.

Jeg har lige læst op på det lidt nærmere, og du har helt ret.

Ud over at det vil være komplet overflødigt at have blokering i robots.txt, når det samme indhold allerede har et noindex meta tag, så er der risiko for at allerede indekseret indhold vil forblive indexeret hvis blokeringen i robots.txt eksisterer.

Man lærer noget nyt hver dag.
Jeg har aldrig givet mig ud for at være SEO ekspert, og det er jo netop grunden til at jeg oprettede denne tråd til at starte med :)

Tak for hjælpen ;)