Teknik, hosting & e-handelsløsninger

Svar: Webcrawler - Hvordan?

Niels Henriksen — Thu, 29 Jul 2010 07:34:28 GMT

Agent:
Er det tilladt at lade sin crawler besøg andre hjemmesider og hente data for at vise det på sin egen side? Syntes jeg har læst nogle steder det ikke er. (som blot skal være en portal der viser deres data - hvis man vil tilmelde sig bliver man henvist til siden hvorfra data er hentet)

Jeg er lidt usikker på det. Der har været en del sager i tidens løb.

Agent:
Søgemaskinerne gør det ja, men gemmer de også crawler data i egen database, som så vises når der søges?

Ja. De gemmer de data de finder i deres egen database og det viser de så for dig når du søger.

Agent:
Og hvis vi bruger Joomla, kan vi så stadig bygge en crawler og få gemt data så det er søgebart.

Ja det kan I sagtens.

Svar: Webcrawler - Hvordan?

Agent — Thu, 29 Jul 2010 06:58:27 GMT

Hej Niels.
Tak for input.

Er det tilladt at lade sin crawler besøg andre hjemmesider og hente data for at vise det på sin egen side? Syntes jeg har læst nogle steder det ikke er. (som blot skal være en portal der viser deres data - hvis man vil tilmelde sig bliver man henvist til siden hvorfra data er hentet)
Søgemaskinerne gør det ja, men gemmer de også crawler data i egen database, som så vises når der søges?

#Lars
Tak for tilbudet. Som du måske kan læse er jeg stadig i en afklaringsfase. Jeg vil bygge mig en portal og prøver at finde ud hvilken måde der er mest hensigtsmæssig - Om vi skal bygge vores helt eget system fra bunden el. evt. kan bruge Joomla. Og hvis vi bruger Joomla, kan vi så stadig bygge en crawler og få gemt data så det er søgebart.

Jeg har en masse ting jeg skal undersøge - men hvis du kan svare på nogle af disse sender jeg dig gerne en mere detaljeret plan omkring hvad jeg vil. Så kan du måske hjælpe mig?

Hilsen Flemming

Svar: Webcrawler - Hvordan?

indosoft — Thu, 29 Jul 2010 02:23:52 GMT

Hej Flemming,

Vi har god erfaring med at sætte crawler op hvis du er interesseret i et samarbejde så send en mail til mig med lidt flere oplysninger omkring opgaverne og jeg vil vende tilbage med et svar på dine spørgsmål.

Med venlig hilsen

Lars

Svar: Webcrawler - Hvordan?

Niels Henriksen — Wed, 28 Jul 2010 20:10:39 GMT

Agent:
Kan man bruge Webcrawler til at søge relevant information? Og gemme relevant information i sin database, som der så kan søges i?

Det kan du sagtens. Søgemaskinerne gør lige præcis den del.

Agent:
er det svært at bygge disse og hvor lang tid tager det

Nej det er ikke svært... en basis kan laves på én dag mens den forkromede model tager længere tid.

Svar: Webcrawler - Hvordan?

Mikkel Mikjær Christensen — Wed, 28 Jul 2010 18:20:56 GMT

Jeg har arbejdet noget med diverse crawling teknologier, du skal være velkommen til at kontakte mig, mikkel@mikjaer.com el. 41 28 28 08

Svar: Webcrawler - Hvordan?

Agent — Wed, 28 Jul 2010 18:19:22 GMT

Er der ingen der kan dele viden omkring Webcrawler??

Webcrawler - Hvordan?

Agent — Wed, 28 Jul 2010 07:34:55 GMT

Hola

Jeg overvejer at gå videre med opbygningen af en portal og har lige hørt Thorborgs Talkshow omkring "Skal jeg starte en webportal" hvor han bl.a. snakker om opbygningen af Jubii m.m.
Portalen skal jo fyldes med data og som Thorborg fortæller, kommer disse jo ikke af sig selv og det er et kæmpe arbejde.

Mit spørgsmål er derfor. Kan man bruge Webcrawler til at søge relevant information? Og gemme relevant information i sin database, som der så kan søges i?
Jeg ved slet ikke om det er lovligt eller om det vil være den mest hensigtsmæssige måde?

[Grunden til overvejelser omkring Webcrawler er at jeg på portalen gerne vil kunne tilbyde en avanceret søgning af udvalgte kriterier som Kommune, post adresse, start tider osv - og tænkte at en form for crawler vil kunne indsamle den data]

Hvis der er nogle der er eksperter i Webcrawler - er det svært at bygge disse og hvor lang tid tager det?
I kan jo nok høre jeg ikke ved for meget om disse

Sommer hilsen til jer alle.

Hilsen Flemming