Webcrawler - good or bad?

Fra Århus

Tilmeldt 18. Feb 06

Indlæg ialt: 4322

Anders Christensen Skrevet 18-12-2006 kl. 22:00

Hvor mange stjerner giver du? :

Det kunne tænkes, har du kunnet finde din side på nogle søgeord før?

Safeticket - Dit enkle og fleksible billetsystem.

Tilmeldt 27. Aug 06

Indlæg ialt: 94

TheCelt Skrevet 18-12-2006 kl. 22:04

Hvor mange stjerner giver du? :

Tjaa, lidt. har adwords, så der kommer da lidt i højre side. Ellers må jeg nok indrømme, nu du siger det, at når jeg søger, er det mest på div. forum osv. jeg har skrevet i. Ikke som sådan rigtige søgninger, der henviser til siden. Men mere til de forskellige fora.

Fra Lyngby

Tilmeldt 26. Mar 05

Indlæg ialt: 9742

Mikkel deMib Svendsen Fra DEMIB HOLDINGS ApS Waimea Digital Skrevet 18-12-2006 kl. 22:14

Hvor mange stjerner giver du? :

> Det undrer mig jo så bare at de opholder sig de steder hvor de reelt ikke må / kan være.

Hverken MSN eller nogle af de andre søgemaskiner, kan få deres robotter ind hvor de ikke "kan" være. Hvis et område er passwordbeskyttet kan søgemaskinernes robotter ikke komme ind. De forsøger ikke at hacke sig ind. Så hvis de er kommet ind må det være fordi de har fundet en naturlig vej ind. Der findes for eksempel ingen praktisk metode, hvorpå du med sikkerhed kan fastslå, om der er en eller anden der linker til dig. Der er også andre helt naturlige måder, de kan finde disse sider på. Så hvis du ikke vil have dem med i søgemaskinerne, må du enten fjerne dem fra den åbne webserver, eller passwordbeskytte dem.

Waimea Digital

Tilmeldt 27. Aug 06

Indlæg ialt: 94

TheCelt Skrevet 18-12-2006 kl. 22:19

Hvor mange stjerner giver du? :

Mikkel:

De steder som jeg nævner: gallery og Forum er på ingen måde password beskyttede. Der er ikke noget i dem, andre ikke som sådan må se. Det er bare to moduler, som er i min shop, men som jeg har valgt ikke at lægge tilgængelig for andre. - altså med link direkte fra siden.

De ligger dog stadig i min catalo mappe, så det kan være derfor de har fundet disse.

Troede bare at de udelukkende søgte på selve "online" siden. Altså de ting som de "har lov" til. Har ikke lavet robot filen således at jeg har nægtet dem adgang til disse to sider. De har adgang til alt. :-)

Tilmeldt 6. Dec 06

Indlæg ialt: 357

whatever Skrevet 18-12-2006 kl. 22:59

Hvor mange stjerner giver du? :

Hvis du ikke vil have disse sider indekserede - altså fuldt offentlig tilgænglige/søgebare for alle og enhver gennen google/msn/yahoo etc. så skal du password protect'e disse, som bliver nævnt tideligere af Mikkel deMib. Speciellt hvis du har følsom information liggende kan disse evt. blive brugt (worst case senaro) til google hacking da man kan bruge din information imod dig (ikke for jeg tror du har det).

Hvis du har en robots.txt fil læg så til dir. med disallow.(Du bruger denne til, at fortælle bots'en hvad der ikke er tilladt/tillladt) Der er dog ikke alle webbots som accepterer robots.txt men de store gør det (siger de i vært fald i deres erklæringer.) Du kan også bruge metatags,meeen de bliver ikkke altid brugt mere at søgemaskinerne..

Du kan altid søge på en ip (ip-adresse), og se opringelsen... Du kan bruge dissse følgende til, at spore oprindelsen:

http://webtrace.uni2.dk/

eller

http://www.dnsstuff.com/

Begge er udmærkede værktøjer og i god i kombination med hinanden for at sikre sig, den korrekte informationen.