Hjælp til salg (Ikke internet)

Svar: Robots.txt, hvilket resultat giver dette?

Kim Tetzlaff - Kim Tetzlaff ApS — Tue, 18 Oct 2011 07:38:02 GMT

Brian Reinhold Jensen:

KTJ-Media.dk:
Vær lige opmærksom på at robots.txt ikke er en sikkerhed for at sider IKKE bliver crawlet. Det er samtidig heller ikke en sikkerhed for at sider ikke bliver indekseret.

Det er helt rigtigt, jeg anbefaler altid at lave en simpel form for passwordbeskyttelse på udviklingssites, så vi er "sikre" på at de ikke bliver crawlet.

I dette tilfælde vendte webbureauet tilbage med en melding om at det ikke var nødvendigt, de havde sørget for det "i systemet". Problemet er at de ikke vil fortælle hvordan de mener at have gjort det og det eneste jeg kan se der minder om det, er ovennævnte robots.txt. fil.

Stor hilsen
/Brian

ok, kender nu ikke andre metoder end passwordbeskyttelse som den eneste rigtige metode. Alle andre er ikke andet end anvisninger som en robot kan vælge eller fravælge at følge.

andre metoder som jeg har set er brugen af headere, altså fx ved at fortælle søgemaskiner/besøgende at siden ikke findes, eller at der er serverfejl, men stadig vise det korrekte indhold for brugeren. Den metode kan man også godt bruge, men den er som de andre ikke helt sikre.

Du kan evt sende mig linket på PB, så skal jeg da lige tjekke hvilken vej de har taget, og om det overhovedet er muligt at se.

MVH Kim

Svar: Robots.txt, hvilket resultat giver dette?

Brian Reinhold Jensen — Tue, 18 Oct 2011 07:30:31 GMT

KTJ-Media.dk:
Vær lige opmærksom på at robots.txt ikke er en sikkerhed for at sider IKKE bliver crawlet. Det er samtidig heller ikke en sikkerhed for at sider ikke bliver indekseret.

Det er helt rigtigt, jeg anbefaler altid at lave en simpel form for passwordbeskyttelse på udviklingssites, så vi er "sikre" på at de ikke bliver crawlet.

I dette tilfælde vendte webbureauet tilbage med en melding om at det ikke var nødvendigt, de havde sørget for det "i systemet". Problemet er at de ikke vil fortælle hvordan de mener at have gjort det og det eneste jeg kan se der minder om det, er ovennævnte robots.txt. fil.

Stor hilsen
/Brian

Svar: Robots.txt, hvilket resultat giver dette?

Kim Tetzlaff - Kim Tetzlaff ApS — Tue, 18 Oct 2011 07:23:52 GMT

Brian Reinhold Jensen:

Hej Mark,

Tak for svaret og støtten, jeg vil nu prøve at overbevise webshopudvikleren om at de ikke har lukket af for søgemaskinerne.

Jeg kendte ikke Fasterfox før, men det er altid dejligt at lære nyt.

Stor hilsen
/Brian

Vær lige opmærksom på at robots.txt ikke er en sikkerhed for at sider IKKE bliver crawlet. Det er samtidig heller ikke en sikkerhed for at sider ikke bliver indekseret.

Bare så folk ved det. Det er nemlig ikke sådan at man ikke kan crawle en side bare fordi der står disallow. Men det er god skik at tjekke om man må crawle en side i robots.txt før man crawler, men det er langt fra ALLE som respektere den anvisning.

MVH Kim

Svar: Robots.txt, hvilket resultat giver dette?

Brian Reinhold Jensen — Tue, 18 Oct 2011 07:14:43 GMT

Hej Mark,

Tak for svaret og støtten, jeg vil nu prøve at overbevise webshopudvikleren om at de ikke har lukket af for søgemaskinerne.

Jeg kendte ikke Fasterfox før, men det er altid dejligt at lære nyt.

Stor hilsen
/Brian

Svar: Robots.txt, hvilket resultat giver dette?

.. — Mon, 17 Oct 2011 14:31:37 GMT

Den kode udelukker kun Fasterfox og ikke google!

Hvis der efter user-agent: havde været * så ville ALLE blive udelukket. Havde der stået Google var det google der var blevet udelukket etc.

Du kan læse mere her:

http://www.google.com/support/webmasters/bin/answer.py?answer=156449

Robots.txt, hvilket resultat giver dette?

Brian Reinhold Jensen — Mon, 17 Oct 2011 14:25:54 GMT

Hej,

Jeg er blevet rodet ind i en lille disputs om robots.txt og effekten af disse to linier:

User-agent: Fasterfox
Disallow: /

Det er de eneste to linier der er i filen.

Uenigheden går nu på om Google vil indeksere dette site, eller ej.

Er der en, eller flere, med større indsigt i robots.txt end mig der vil byde ind i debatten?

Stor hilsen
/Brian