Webcrawler - Hvordan?

Hola

Jeg overvejer at gå videre med opbygningen af en portal og har lige hørt Thorborgs Talkshow omkring "Skal jeg starte en webportal" hvor han bl.a. snakker om opbygningen af Jubii m.m.
Portalen skal jo fyldes med data og som Thorborg fortæller, kommer disse jo ikke af sig selv og det er et kæmpe arbejde.

Mit spørgsmål er derfor.  Kan man bruge Webcrawler til at søge relevant information? Og gemme relevant information i sin database, som der så kan søges i?
Jeg ved slet ikke om det er lovligt eller om det vil være den mest hensigtsmæssige måde?

[Grunden til overvejelser omkring Webcrawler er at jeg på portalen gerne vil kunne tilbyde en avanceret søgning af udvalgte kriterier som Kommune, post adresse, start tider osv - og tænkte at en form for crawler vil kunne indsamle den data]

Hvis der er nogle der er eksperter i Webcrawler - er det svært at bygge disse og hvor lang tid tager det?
I kan jo nok høre jeg ikke ved for meget om disse

Sommer hilsen til jer alle. 

Hilsen Flemming

Jeg har arbejdet noget med diverse crawling teknologier, du skal være velkommen til at kontakte mig, mikkel@mikjaer.com el. 41 28 28 08

Agent:

Kan man bruge Webcrawler til at søge relevant information? Og gemme relevant information i sin database, som der så kan søges i?

Det kan du sagtens. Søgemaskinerne gør lige præcis den del.

Agent:

er det svært at bygge disse og hvor lang tid tager det

Nej det er ikke svært... en basis kan laves på én dag mens den forkromede model tager længere tid.

Hej Niels.
Tak for input.

• Er det tilladt at lade sin crawler besøg andre hjemmesider og hente data for at vise det på sin egen side? Syntes jeg har læst nogle steder det ikke er. (som blot skal være en portal der viser deres data - hvis man vil tilmelde sig bliver man henvist til siden hvorfra data er hentet)
• Søgemaskinerne gør det ja, men gemmer de også crawler data i egen database, som så vises når der søges?

#Lars
Tak for tilbudet. Som du måske kan læse er jeg stadig i en afklaringsfase. Jeg vil bygge mig en portal og prøver at finde ud hvilken måde der er mest hensigtsmæssig - Om vi skal bygge vores helt eget system fra bunden el. evt. kan bruge Joomla. Og hvis vi bruger Joomla, kan vi så stadig bygge en crawler og få gemt data så det er søgebart.

Jeg har en masse ting jeg skal undersøge - men hvis du kan svare på nogle af disse sender jeg dig gerne en mere detaljeret plan omkring hvad jeg vil. Så kan du måske hjælpe mig?

Hilsen Flemming

Agent:

Er det tilladt at lade sin crawler besøg andre hjemmesider og hente data for at vise det på sin egen side? Syntes jeg har læst nogle steder det ikke er. (som blot skal være en portal der viser deres data - hvis man vil tilmelde sig bliver man henvist til siden hvorfra data er hentet)

Jeg er lidt usikker på det. Der har været en del sager i tidens løb.

Agent:

Søgemaskinerne gør det ja, men gemmer de også crawler data i egen database, som så vises når der søges?

Ja. De gemmer de data de finder i deres egen database og det viser de så for dig når du søger.

Agent:

Og hvis vi bruger Joomla, kan vi så stadig bygge en crawler og få gemt data så det er søgebart.

Ja det kan I sagtens.