Tak for svaret og støtten, jeg vil nu prøve at overbevise webshopudvikleren om at de ikke har lukket af for søgemaskinerne.
Jeg kendte ikke Fasterfox før, men det er altid dejligt at lære nyt.
Stor hilsen /Brian
Vær lige opmærksom på at robots.txt ikke er en sikkerhed for at sider IKKE bliver crawlet. Det er samtidig heller ikke en sikkerhed for at sider ikke bliver indekseret.
Bare så folk ved det. Det er nemlig ikke sådan at man ikke kan crawle en side bare fordi der står disallow. Men det er god skik at tjekke om man må crawle en side i robots.txt før man crawler, men det er langt fra ALLE som respektere den anvisning.
Vær lige opmærksom på at robots.txt ikke er en sikkerhed for at sider IKKE bliver crawlet. Det er samtidig heller ikke en sikkerhed for at sider ikke bliver indekseret.
Det er helt rigtigt, jeg anbefaler altid at lave en simpel form for passwordbeskyttelse på udviklingssites, så vi er "sikre" på at de ikke bliver crawlet.
I dette tilfælde vendte webbureauet tilbage med en melding om at det ikke var nødvendigt, de havde sørget for det "i systemet". Problemet er at de ikke vil fortælle hvordan de mener at have gjort det og det eneste jeg kan se der minder om det, er ovennævnte robots.txt. fil.
Vær lige opmærksom på at robots.txt ikke er en sikkerhed for at sider IKKE bliver crawlet. Det er samtidig heller ikke en sikkerhed for at sider ikke bliver indekseret.
Det er helt rigtigt, jeg anbefaler altid at lave en simpel form for passwordbeskyttelse på udviklingssites, så vi er "sikre" på at de ikke bliver crawlet.
I dette tilfælde vendte webbureauet tilbage med en melding om at det ikke var nødvendigt, de havde sørget for det "i systemet". Problemet er at de ikke vil fortælle hvordan de mener at have gjort det og det eneste jeg kan se der minder om det, er ovennævnte robots.txt. fil.
Stor hilsen /Brian
ok, kender nu ikke andre metoder end passwordbeskyttelse som den eneste rigtige metode. Alle andre er ikke andet end anvisninger som en robot kan vælge eller fravælge at følge.
andre metoder som jeg har set er brugen af headere, altså fx ved at fortælle søgemaskiner/besøgende at siden ikke findes, eller at der er serverfejl, men stadig vise det korrekte indhold for brugeren. Den metode kan man også godt bruge, men den er som de andre ikke helt sikre.
Du kan evt sende mig linket på PB, så skal jeg da lige tjekke hvilken vej de har taget, og om det overhovedet er muligt at se.
Bliv gratis medlem
Opret bruger