Jeg har en Wordpress-side hvor jeg ønsker at udelukke søgemaskinerne fra én bestemt undermappe. Til dette ved jeg, at jeg skal bruge min htaccess-fil - jeg er blot i tvivl om jeg gør det rigtigt. Jeg har læst mig frem til, at jeg skal tilføje følgende:
User-agent: * Disallow: /udelukket-undermappe/
Skal dette tilføjes FØR eller EFTER "# BEGIN wordpress"???
Tilføjelse: Ja, Patrick har ret i at den kode Peter skrev var til robots.txt-filen, men hvis det er for at sørge for at der intet bliver indekseret i Google kan der bruges noindex.
Tilføjelse: Ja, Patrick har ret i at den kode Peter skrev var til robots.txt-filen, men hvis det er for at sørge for at der intet bliver indekseret i Google kan der bruges noindex.
Helt enig Gita.
Den eneste "sikrer" løsning på at Google ikke kommer ind på sitet, og bruger noget data, siger de selv er ved brugen af en server-side adgangsbeskyttelse. Men det bedste alternativ er noindex.
Tilføjelse: Ja, Patrick har ret i at den kode Peter skrev var til robots.txt-filen, men hvis det er for at sørge for at der intet bliver indekseret i Google kan der bruges noindex.
Takker for deling... Det eneste man skal være opmærksom på i det tilfælde er at hvis man opretter en mappe, og der rent faktisk er en side med samme navn på sin hjemmeside. Kan man risikere at serveren prøver at vise filerne hvis ikke man har deaktiveret index.
Ud over det skal man helst heller ikke have den indskrevet i sin robots.txt, da Google skal kunne crawle for at se om der er andre ting den skal tage højde for. og det leder så til at der helst heller ikke må stå noindex i x-robots-tag, og index i robots metatagget, hvilket er en fejl som rigtig mange hjemmesider laver.
Det eneste man skal være opmærksom på i det tilfælde er at hvis man opretter en mappe, og der rent faktisk er en side med samme navn på sin hjemmeside. Kan man risikere at serveren prøver at vise filerne hvis ikke man har deaktiveret index.
Ud over det skal man helst heller ikke have den indskrevet i sin robots.txt, da Google skal kunne crawle for at se om der er andre ting den skal tage højde for. og det leder så til at der helst heller ikke må stå noindex i x-robots-tag, og index i robots metatagget, hvilket er en fejl som rigtig mange hjemmesider laver.
Tak for supplerende oplysninger. Det er altid godt at lære noget nyt.
Jeg testede det faktisk af på samme webhotel med både WordPress og Prestashop, men gætter på at sidstnævnte ikke virkede pga det måske er MVC-baseret (Model View Controller). Kender ikke Prestashop ret godt endnu, men tester det lidt af sammen med Magento, da det er svært at finde saglige argumenter for hvad der er bedst. Har arbejdet med MVC websites i .NET, og der går hele den der med "mapper" som URL-adresser jo tabt når der laves URL'er.
Den eneste "sikrer" løsning på at Google ikke kommer ind på sitet, og bruger noget data, siger de selv er ved brugen af en server-side adgangsbeskyttelse. Men det bedste alternativ er noindex.
Serverside passwordbeskyttet adgang, vel at mærke. Ja, det er vi enige i. Har ellers lige haft diskussionen på Google+, hvor en erfaren mand mener at robots.txt er svaret. Men det er det selvfølgelig også når det måske er den eneste mulighed der er i hostede og Windows-baserede løsninger. Den slags er vi heldigvis ude over når vi er til Linux og open source :-)
Serverside passwordbeskyttet adgang, vel at mærke. Ja, det er vi enige i. Har ellers lige haft diskussionen på Google+, hvor en erfaren mand mener at robots.txt er svaret. Men det er det selvfølgelig også når det måske er den eneste mulighed der er i hostede og Windows-baserede løsninger. Den slags er vi heldigvis ude over når vi er til Linux og open source :-)
Jeg har før set brudstykker af søgeresultater, som ikke burde være der iflg. robots.txt, så helt sikker er den løsning ikke. Men den er nem at opsætte og kan klare de flestes behov.
Bliv gratis medlem
Opret bruger