Pris på en crawler?

Hej

Er der nogen der har en fornemmelse af hvad det koster at lave en crowler, der læser og indekserer sider a la Google bot?

Crawleren skal selvfølgelig ikke være så avanceret.

Den skal f.eks. kun crawle tilmeldte sider/url'er og skal kun læse tekst som brugeren kan se.

Er der nogen der har et gæt på prisen for en sådan crawler?

Mvh. Ken

0 kr - http://arachnode.net/

Jeg har, i mit shopsystem muligheden for at man kan indtaste en  url, og ud fra den url, vælge fx en pris på den url, hvorefter man kan sætte en regel som gør ens egen produktpris fx 5 dkk billigere.

Er det noget i den stil?

Jimmy

Hej ken,

jeg har en crawler som godt ville kunne tilpasses til dit behov. du kan sende mig en mail på rasmus(at)rasmusthomsen.com, så kan vi tage den offline.

Hilsen

Rasmus

Niels Henriksen:

0 kr - http://arachnode.net/

Hej Niels

Det virker som der rigtige, men har du nogen fornemmelse hvad det vil koste at få sat op, når man ikke lige har så meget viden om det selv?

Og hvis det f.eks. blev begrænset til under 1 mio sider der løbende blev indekseret, hvad ville det så kræve af hardware setup?

Mvh. Ken

Ken Schultz:

Hej

Er der nogen der har en fornemmelse af hvad det koster at lave en crowler, der læser og indekserer sider a la Google bot?

Crawleren skal selvfølgelig ikke være så avanceret.

Den skal f.eks. kun crawle tilmeldte sider/url'er og skal kun læse tekst som brugeren kan se.

Er der nogen der har et gæt på prisen for en sådan crawler?

Mvh. Ken

Hvad mener du med at den "Kun skal læse tekst som brugeren kan se"? Det kan ikke engang google haandtere 100% korrekt hvis der bruges css eller javascript til at skjule teksten.

Hvis crawleren bare skal ignorerer javascript,og css styles kan det goeres rimeligt billigt(Under 10K) men hvis du vil til at haandtere javascript, og vide om tekst faktisk er skjult med css styles bliver det dyrt. Hvis du bare vil haandtere css men ikke javascript kan det nok laves for ca 20-30K men hvis du ogsaa vil haandtere javascript bliver det et sted mellem 60K og uendeligt alt efter hvor godt du vil have det.

Hej

Med tekst mener jeg bare alm. brødtekst (ikke noget med at læse javascript, css o.l.)

Hvis crawleren i første omgang kun opsamlede og gemte URL, title, meta tag description og meta tag keywords, ville det så være rimeligt simpelt at få lavet?

Og hvis man så kunne udvide ved at definere hvor på siden den f.eks. skulle finde en pris (den regel skal naturligvis gemmes pr. butik man vil crawle). En regel i stil med dette: Prisen er det der står mellem X og Y

Og f.eks. beskrivelsen er det der står mellem X og Y etc. etc., billede-url står der etc.

Hvor meget snakker vi så om, hvis der skal indbygges regler som nævnt ovenfor?
(reglerne er vel nogenlunde ens at håndtere?) 

Mvh. Ken