Franchise & kæder - Få hjælp her

Webcrawler - good or bad?

whatever — Mon, 18 Dec 2006 21:59:00 GMT

Hvis du ikke vil have disse sider indekserede - altså fuldt offentlig tilgænglige/søgebare for alle og enhver gennen google/msn/yahoo etc. så skal du password protect'e disse, som bliver nævnt tideligere af Mikkel deMib. Speciellt hvis du har følsom information liggende kan disse evt. blive brugt (worst case senaro) til google hacking da man kan bruge din information imod dig (ikke for jeg tror du har det).

Hvis du har en robots.txt fil læg så til dir. med disallow.(Du bruger denne til, at fortælle bots'en hvad der ikke er tilladt/tillladt) Der er dog ikke alle webbots som accepterer robots.txt men de store gør det (siger de i vært fald i deres erklæringer.) Du kan også bruge metatags,meeen de bliver ikkke altid brugt mere at søgemaskinerne..

Du kan altid søge på en ip (ip-adresse), og se opringelsen... Du kan bruge dissse følgende til, at spore oprindelsen:

http://webtrace.uni2.dk/

eller

http://www.dnsstuff.com/

Begge er udmærkede værktøjer og i god i kombination med hinanden for at sikre sig, den korrekte informationen.

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 21:19:00 GMT

Mikkel:

De steder som jeg nævner: gallery og Forum er på ingen måde password beskyttede. Der er ikke noget i dem, andre ikke som sådan må se. Det er bare to moduler, som er i min shop, men som jeg har valgt ikke at lægge tilgængelig for andre. - altså med link direkte fra siden.

De ligger dog stadig i min catalo mappe, så det kan være derfor de har fundet disse.

Troede bare at de udelukkende søgte på selve "online" siden. Altså de ting som de "har lov" til. Har ikke lavet robot filen således at jeg har nægtet dem adgang til disse to sider. De har adgang til alt. :-)

Webcrawler - good or bad?

Mikkel deMib Svendsen — Mon, 18 Dec 2006 21:14:00 GMT

> Det undrer mig jo så bare at de opholder sig de steder hvor de reelt ikke må / kan være.

Hverken MSN eller nogle af de andre søgemaskiner, kan få deres robotter ind hvor de ikke "kan" være. Hvis et område er passwordbeskyttet kan søgemaskinernes robotter ikke komme ind. De forsøger ikke at hacke sig ind. Så hvis de er kommet ind må det være fordi de har fundet en naturlig vej ind. Der findes for eksempel ingen praktisk metode, hvorpå du med sikkerhed kan fastslå, om der er en eller anden der linker til dig. Der er også andre helt naturlige måder, de kan finde disse sider på. Så hvis du ikke vil have dem med i søgemaskinerne, må du enten fjerne dem fra den åbne webserver, eller passwordbeskytte dem.

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 21:04:00 GMT

Tjaa, lidt. har adwords, så der kommer da lidt i højre side. Ellers må jeg nok indrømme, nu du siger det, at når jeg søger, er det mest på div. forum osv. jeg har skrevet i. Ikke som sådan rigtige søgninger, der henviser til siden. Men mere til de forskellige fora.

Webcrawler - good or bad?

Anders Christensen — Mon, 18 Dec 2006 21:00:00 GMT

Det kunne tænkes, har du kunnet finde din side på nogle søgeord før?

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 20:46:00 GMT

en bemærkning:

vi har kun været online i 3½ måned nu. Da jeg oprettede siden, fik jeg et link af min supporter, som sagde at jeg skulle tilmelde mig denne side, for at kunne blive søgt på fra alle de store søgeside og indekseret her.

Fik også af vide, at der kunne gå nogle måneder før jeg virkelig kunne blive fundet på disse sider. Kan det være nu, hvor de alle indeksere mig så?

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 20:36:00 GMT

Skal jeg evt. sende log filen til dig?

Så kan du bruge "søg" og skrive "robot". Så får du alle IP og hvor de er fra?

Måske du kan se noget jeg ikke kan. Har ikke en sk.... for stand på det :-)

Det undrer mig jo så bare at de opholder sig de steder hvor de reelt ikke må / kan være.

Det er jo ikke der folk skal hen, når de søger.

Nemmere at finde, skriver du? Altså for dem, eller for brugerne, når de søger?

Har først lagt mærke til det siden fredag, hvor der næsten har været et overdrevent besøg fra alle disse. Og de duplikere deres IP så de er onlne 8-10 ad gangen....

Webcrawler - good or bad?

Anders Christensen — Mon, 18 Dec 2006 20:33:00 GMT

Det er blot msn search der har besøgt hele din side :-)

Ikke noget direkte farligt, men du er nok nemmere at finde i deres søgemaskine.

Et whois på 65.55.212.160 giver følgende.

OrgName:    Microsoft Corp
OrgID:      MSFT
Address:    One Microsoft Way
City:       Redmond
StateProv: WA
PostalCode: 98052
Country:    US

NetRange:   65.52.0.0 - 65.55.255.255

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 20:31:00 GMT

Jeg har netop fundet logfilerne.

Den ene IP adresse er denne: 65.55.212.160

I logfilen står der følgende:

65.55.212.160 - - [18/Dec/2006:22:06:51 +0100] "GET /robots.txt HTTP/1.0" 200 - "-" "msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)"

Har lige tjekket de fleste IP som jeg har mistænkt. Der står alle næsten det samme. Altså det der med .robots

Og jeg har lavet en robots fil, som jeg har lagt i min rod mappe, for at få dem til at finde mig - altså søge siderne

De kommer faktisk alle sammen fra googlebot, yahoo og msnbot

Webcrawler - good or bad?

Christian Joergensen — Mon, 18 Dec 2006 20:24:00 GMT

Har du mulighed for at offentliggoere IP-adresserne?

/Christian

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 20:23:00 GMT

Da jeg sagde det til min webhoster, saged han også at det nok var en webcrawler - sandsynligvis fra google.

Du skriver en googlebot - altså en som simpelthen bare sørger for at jeg kommer med i deres søge maskine - eller er det af de dårlige slags?

Du kan ikke svare på om jeg bør iværksææte en større eftersøgning af disse IP adresser, eller bare lade det være.

Hvor kan jeg se log filer henne?

En kommentar: de er også meget ville med at ville skrive anmeldelser til vores produkter :D (om de er goed eller dårlige)

Det kræver dog login, og det gør de jo ikke :-)

Webcrawler - good or bad?

Anders Christensen — Mon, 18 Dec 2006 20:18:00 GMT

Det er ret svært at svare på uden at have noget fra logfilen, det kunne meget vel være googlebot eller tilsvarende.

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 20:13:00 GMT

Ehm, det ved jeg ikke helt hvor jeg kan tjekke må jeg indrømme :-(

Det er altid de samme 2-4 IP adresser. Og igen, online 3-4 timer adgange, og så skifter IP og så den næste online 3-4 timer.

Mere om det i Jeres øre lyder skræmmende? Gad vide hvad de laver i "gallery" i så mange timer... hmmm....

Jeg tænker om de prøver at byde nogle kode osv. ????

Et lille link til en fyr, som har bannet ca. 60 IP adresser. Lidt samme problem som mig???

http://www.simon-jensen.net/blog/Webcrawler.html

Webcrawler - good or bad?

Anders Christensen — Mon, 18 Dec 2006 20:06:00 GMT

Hvad siger din log omkring hvilken klient det er?

Webcrawler - good or bad?

TheCelt — Mon, 18 Dec 2006 20:04:00 GMT

Hej,

Jeg har oplevet noget lidt underligt på min side. Jeg har et modul bag om shoppen, hvor jeg kan se hvem der er online og hvor på sitet de færdes. De sidste 3-4 dage, har der været noget mystisk / mistænkeligt. Der er en IP adresse som er på3-4 timer adgangen - når denne så stopper, kommer der en ny (2 sek. efter og også er på 3-4 timer.

Der er ca. 2-3 forskellige IP der er på 3-4,5 eller 6 timer i træk. Både dag og nat.

Det underlige er, at de er steder på sitet, hvor der ikke er adgang til. F.eks. i mit Gallery. Dvs. det er en slags modul, hvor jeg kan uploade alle mulige billeder som kunderne ville kunne se. Ikke produkt billede eller noget. Bare en slags foto gallery. Det er IKKE lagt tilgængelig for nogen på sitet. Der er ikke link eller noget til det, men det er stort set kun der, disse IP''er befinder sig. Ligeldes har jeg også et forum til min shop. Men det er HELLER IKKE lagt til gængeligt. Der er heller ikke link fra siden og herover, da det er deaktiveret. Men disse IP kan også komme herind. Sjovt nok er det kun disse 2 steder, som ingen har adgang til, de er. Hvad er dette for noget????????? Er det "farligt" og kan de ødelægge noget???? BLiver sku helt nervørs for det. Har også oplevet at den ene af disse IP''er var online med duplikeret IP adresse ca. 50 gange. Altså som om den åbnede 50 explorer vinduer på "dens egen maskin" Det er lidt mystisk.

Håber nogen kan svare hjælpe mig, da jeg er ldit nervøs :-(