Søgemaskineoptimering (SEO) hjælp & gode råd

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Anders Saugstrup — Tue, 05 Apr 2016 14:14:52 GMT

Tager den helt store hat af for @rosenstands forsøg på at hjælp i den tråd her. Det er virkeligt skammeligt, at de erfarne råd ikke tages alvorligt.

Mvh Anders Saugstrup

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 13:30:51 GMT

Thomas Rosenstand:

Suk - gør, som du vil og ignorer de mange tests, jeg og andre i min branche har lavet med netop dette. Og glem også hvad John fra Google råder imod.

Rosenstand out!

Vi har ikke i sinde at bruge Noindex i robots.txt.

Det jeg skrev var en forklaring på at Noindex rent teknisk er en gyldig værdi i robots.txt iht. Google, selvom det frarådes at bruge det.
Det var et direkte svar på din kommentar "Google understøtter ikke 'noindex' i robots.txt."

Dette område har netop været årsag til en hel del forvirring, selv blandt erfarne SEO folk.

Selvfølgelig skal man følge Google´s anbefalinger, så det vælger vi også at gøre.

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Thomas Rosenstand — Tue, 05 Apr 2016 13:22:14 GMT

Suk - gør, som du vil og ignorer de mange tests, jeg og andre i min branche har lavet med netop dette. Og glem også hvad John fra Google råder imod.

Rosenstand out!

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 13:18:19 GMT

Thomas Rosenstand:

Google understøtter ikke "noindex" i robots.txt.

Ifølge hvad jeg har læst mig til så er det rent teknisk understøttet af Google, det har det i hvert fald været længe, men det frarådes at bruge det.

Kilde: http://tools.seobook.com/robots-txt/

Uddrag:

Noindex instead of Disallow in Robots.txt?

Typically a noindex directive would be included in a meta robots tag. However, Google for many years have supported using noindex inside Robots.txt, similarly to how a webmaster would use disallow.

User-agent: Googlebot
Disallow: /page-uno/
Noindex: /page-uno/

The catch, as noticed by Sugarrae, is URLs which are already indexed but are then set to noindex in robots.txt will throw errors in Google's Search Console (formerly known as Google Webmaster Tools). Google's John Meuller also recommended against using noindex in robots.txt.

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Thomas Rosenstand — Tue, 05 Apr 2016 13:06:03 GMT

Google understøtter ikke "noindex" i robots.txt.

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 12:54:36 GMT

Lige til info så fandt jeg her en udførlig forklaring, specifik omkring "Noindex" og "Disallow" og kombinationen af de 2:

https://www.deepcrawl.com/knowledge/best-practice/noindex-disallow-nofollow/

Her beskrives det at man kan angive både "Noindex" og "Disallow" for det samme indhold i robots.txt ,

eks:

Disallow: /example-page-1/
Noindex: /example-page-1/

Dog er der nogle der skriver at f.eks. Bingbot ikke understøtter Noindex i robots.txt, så det mest sikre er trods alt at holde sig til meta-tagget.

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 12:39:27 GMT

Thomas Rosenstand:
Jamen velbekomme da. Måske du næste gang skal vente lidt med at råbe "vås", når nogen med 17 års erfaring med SEO stiller deres viden til rådighed for dig ganske gratis. Så bliver det lidt hyggeligere at hjælpe...

Jamen, jeg er da også meget taknemmelig for at du har gidet svare på mit indlæg :)

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Thomas Rosenstand — Tue, 05 Apr 2016 12:34:50 GMT

Mikkel Olsen:

Thomas Rosenstand:

Jeg giver op så. Hvis du ikke kan forstå, at disallow jo netop gør, at Google ikke crawler noget indhold udover title tag og URL sti, er der ikke noget, jeg kan gøre ved det. Google vil således ALDRIG komme ind og læse dit "noindex".

Rigtig meget held og lykke - ikke mindst til dine kunder.

Jeg har lige læst op på det lidt nærmere, og du har helt ret.

Ud over at det vil være komplet overflødigt at have blokering i robots.txt, når det samme indhold allerede har et noindex meta tag, så er der risiko for at allerede indekseret indhold vil forblive indexeret hvis blokeringen i robots.txt eksisterer.

Man lærer noget nyt hver dag.
Jeg har aldrig givet mig ud for at være SEO ekspert, og det er jo netop grunden til at jeg oprettede denne tråd til at starte med :)

Tak for hjælpen ;)

Jamen velbekomme da. Måske du næste gang skal vente lidt med at råbe "vås", når nogen med 17 års erfaring med SEO stiller deres viden til rådighed for dig ganske gratis. Så bliver det lidt hyggeligere at hjælpe...

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 12:33:07 GMT

Thomas Rosenstand:

Jeg giver op så. Hvis du ikke kan forstå, at disallow jo netop gør, at Google ikke crawler noget indhold udover title tag og URL sti, er der ikke noget, jeg kan gøre ved det. Google vil således ALDRIG komme ind og læse dit "noindex".

Rigtig meget held og lykke - ikke mindst til dine kunder.

Jeg har lige læst op på det lidt nærmere, og du har helt ret.

Ud over at det vil være komplet overflødigt at have blokering i robots.txt, når det samme indhold allerede har et noindex meta tag, så er der risiko for at allerede indekseret indhold vil forblive indexeret hvis blokeringen i robots.txt eksisterer.

Man lærer noget nyt hver dag.
Jeg har aldrig givet mig ud for at være SEO ekspert, og det er jo netop grunden til at jeg oprettede denne tråd til at starte med :)

Tak for hjælpen ;)

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Thomas Rosenstand — Tue, 05 Apr 2016 12:27:41 GMT

Jeg giver op så. Hvis du ikke kan forstå, at disallow jo netop gør, at Google ikke crawler noget indhold udover title tag og URL sti, er der ikke noget, jeg kan gøre ved det. Google vil således ALDRIG komme ind og læse dit "noindex".

Please note that if you do both: block the search engines in robots.txt and via the meta tags, then the robots.txt command is the primary driver, as they will not crawl the page to see the meta tags.

Rigtig meget held og lykke - ikke mindst til dine kunder.

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 12:22:30 GMT

Thomas Rosenstand:

Når du sætter en URL til disallow i robots.txt, kommer googlebot IKKE ind og læser det, du skriver i et meta robots tag! Naturligvis - for du har jo netop blokeret deres adgang til at crawle indholdet og dermed også meta robots. Det er således en markant brøler at disallow og samtidig sætte et robots meta tag.

Der er absolut intet galt i at have pågældende angivelse i robot.txt og samtidigt have meta tagget på de pågældende sider.

Meta tagget gør at evt. allerede indexeret indhold fjernes fra Google´s og andre søgemaskiners index næste gang pågældende side besøges fra et eksternt link.

Angivelsen i robot.txt gør blot det at søge-bots ikke fremover indekserer indholdet når sitet crawles.

Forestil dig at der her i denne tråd oprettes et link til en af vores sider med URL parameter angivet, ligesom du selv gjorde det tidligere.
Denne URL vil på sigt blive indekseret i Google uanset om der er blokeret i robot.txt eller ej.

Den eneste måde at undgå indeksering i det tilfælde er at have et "noindex" tag på siden.

Disse 2 metoder fungerer helt fint sammen, så det er da noget værre vås du skriver.

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Philip Løvland — Tue, 05 Apr 2016 11:59:11 GMT

Mikkel Olsen:

Philip Løvland:

Eller endnu bedre så gør det med hjælp af no-index på url-niveau så alle søgeresultater får smidt noindex, follow i headeren, det vil være den bedste løsning

Med din foreslåede løsning med at angive no-index på "URL-niveau", går jeg ud fra at du egentlig mente dynamisk angivelse af meta-tag på framework-niveau, altså genereret i evt. CMS ved hjælp af eks. PHP eller .net, præcis som vi har gjort det. Og så snakker vi jo egentlig om det samme :)

Det er præcis det jeg mener - kært barn har mange navne, pointen er bare at den enkelte URL skal indeholde noindex.

Mikkel Olsen:

Ifølge Google´s egne direktiver er meta-tagget: <meta name="robots" content="noindex">
den mest effektive løsning, hvis du ønsker at indholdet ikke skal indekseret.

Så har du jo også selv fundet svaret - så skal du bare gøre det, og ikke så meget andet :-)

Mikkel Olsen:

I sidste ende er den optimale løsning at gøre som vi har gjort det, altså at både lave korrekt angivelse i robot.txt samt tilføje meta-tagget på de ønskede sider, og så til sidst gå i Google Search Console og lave de fornødne indstillinger.

Det har Thomas vist meget fint svaret på - det du foreslår er ikke en holdbar løsning, og at "nøjes" med at sætte noindex på den enkelte dynamisk genererede url er rigeligt

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Thomas Rosenstand — Tue, 05 Apr 2016 11:48:56 GMT

Du må meget undskylde, hvis jeg er for direkte her, men du ved skræmmende lidt om området i betragtning af, at du sælger webløsninger.

For det første: Når du sætter en URL til disallow i robots.txt, kommer googlebot IKKE ind og læser det, du skriver i et meta robots tag! Naturligvis - for du har jo netop blokeret deres adgang til at crawle indholdet og dermed også meta robots. Det er således en markant brøler at disallow og samtidig sætte et robots meta tag.

For det andet har du jo fået forklaret, at fordelen ved KUN at benytte meta robots "noindex" er, at den pågældende URL så ikke kan optræde i Googles indeks, MEN at googlebot stadig følger de interne links, der er på den URL.

Når du skriver:

"I sidste ende er den optimale løsning at gøre som vi har gjort det, altså at både lave korrekt angivelse i robot.txt samt tilføje meta-tagget på de ønskede sider, og så til sidst gå i Google Search Console og lave de fornødne indstillinger."

- så er det simpelthen så galt, som det kan være. Egentlig havde jeg besluttet at tie stille, men det er da synd og skam, at du arbejder videre i din vildfarelse, som dine kunder ikke kan gøre for. Derfor dette sidste forsøg på at lære dig at forstå, hvad og hvordan der arbejdes med robots.txt kontra meta robots tag.

https://www.concept-i.dk/blog/sadan-bruger-du-robotstxt.html

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 10:02:42 GMT

Philip Løvland:

Eller endnu bedre så gør det med hjælp af no-index på url-niveau så alle søgeresultater får smidt noindex, follow i headeren, det vil være den bedste løsning

Ifølge Google´s egne direktiver er meta-tagget: <meta name="robots" content="noindex">
den mest effektive løsning, hvis du ønsker at indholdet ikke skal indekseret.
Tagget bevirker nemlig ikke kun at bots undlader at indeksere indholdet, det gør også at evt. tidligere indeksering af indholdet forsvinder fra Google´s SERP database uanset om andre sider linker til pågældende indhold.

Læs mere her:
https://support.google.com/webmasters/answer/93710

Med robots.txt metoden fortæller du blot søge-bots at de ikke skal gennemgå det blokerede indholdet, men det vil stadig blive indekseret såfremt andre sider linker til pågældende indhold.

Forklaring fra Google:
"Selvom Google ikke gennemgår eller indekserer det indhold, som er blokeret ved hjælp af robots.txt, kan vi stadig finde og indeksere en ikke-tilladt webadresse via andre steder på internettet. Derfor kan webadressen og eventuelt også andre offentligt tilgængelige oplysninger på siden, som f.eks. selve teksten i links til websitet, forekomme i Googles søgeresultater."

Med din foreslåede løsning med at angive no-index på "URL-niveau", går jeg ud fra at du egentlig mente dynamisk angivelse af meta-tag på framework-niveau, altså genereret i evt. CMS ved hjælp af eks. PHP eller .net, præcis som vi har gjort det. Og så snakker vi jo egentlig om det samme :)

I sidste ende er den optimale løsning at gøre som vi har gjort det, altså at både lave korrekt angivelse i robot.txt samt tilføje meta-tagget på de ønskede sider, og så til sidst gå i Google Search Console og lave de fornødne indstillinger.

Svar: "+" eller "%20" som delimiter i søgeresultats-URL - hvad er bedst iht. SEO/Google?

Mikkel Olsen — Tue, 05 Apr 2016 09:43:00 GMT

Philip Løvland:

Eller endnu bedre så gør det med hjælp af no-index på url-niveau så alle søgeresultater får smidt noindex, follow i headeren, det vil være den bedste løsning

Det vi nu har besluttet os at gøre er at både angive i robot.txt og tilføje meta i headeren.

Rent praktisk har vi programmeret CMS systemet til at angive header tagget: <meta name="robots" content="noindex">

på alle sider hvor URL´en indeholder parametre, og i robot.txt har vi tilføjet linjen: Disallow: /*?*

Desuden har vi i Google Search Console indstillet samtlige registrerede URL parametre til at Google ikke skal gennemgå sider der indeholder disse.

Så bør vi være godt dækket ind :)

Vi vil selvfølgelig monitorere siden i Google Search Console det næste stykke tid og se hvordan disse ændringer træder i kraft.