Jeg har googlet dette problem, men kan ikke finde et egnet værktøj.
Jeg skal bruge et værktøj der kan kravle hele hjemmesiden og finde de sider der har et af følgende META tags: <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX">
Kender du til et sådan værktøj så hører jeg meget gerne fra dig.
Jeg har googlet dette problem, men kan ikke finde et egnet værktøj.
Jeg skal bruge et værktøj der kan kravle hele hjemmesiden og finde de sider der har et af følgende META tags: <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX">
Kender du til et sådan værktøj så hører jeg meget gerne fra dig.
Hvilken platform kører I med?
Tillader det eksport til statiske html? Så kunne man jo lave en lokal kopi og køre den igennem med Wingrep.
Måske ikke synderligt elegant, men det burde virke -- og fejlprocenten vil være nul.
Jeg syntes bare det er spøjst at jeg er den første der har tænkt på den her situation.
Mærkeligt at der ikke findes et crawler værktøj der kan gøre det.
Det er ikke så vigtigt lige pt. da vi har masser af vigtigere projekter der kommer først på listen.
Jeg så godt dit første indlæg, og jeg er sådan set også igang med at lave en crawler der blandt andet ville kunne udvides med den nævnte funktion. Men jeg er ikke helt færdig med den endnu, og min tid er lidt knap! :-)
Jeg syntes bare det er spøjst at jeg er den første der har tænkt på den her situation.
Mærkeligt at der ikke findes et crawler værktøj der kan gøre det.
Det er ikke så vigtigt lige pt. da vi har masser af vigtigere projekter der kommer først på listen.
Hvis man har styr på sin hjemmeside, mangler man det jo heller ikke :)
FX i min CMS løsning, er det muligt at se siders robots tag, samt selvfølgelig mange andre informationer. hvilket jo samtidig betyder at det ikke er et værktøj jeg behøver, eller nogen af mine kunder behøver.
Jeg syntes bare det er spøjst at jeg er den første der har tænkt på den her situation.
Det er du da heller ikke, men de fleste af os der arbejder med SEO benytter egne værktøjer og indbyggede systemer til den slags.
Derudover findes der skam masser af kommercielle crawlere - og en del open source, som du kan bruge. Men det er store tunge stykker software, og for de komercielle produkters vedkomende dyre.