Teknik, hosting & e-handelsløsninger

Svar: Teknisk: jobindex scanner andre jobbaser..-hvordan?

Kaare Danielsen — Wed, 03 Feb 2010 09:19:29 GMT

Nej, vi har udviklet vores egne robotter, der scanner de forskellige sider, et stk. program for hver jobsite, vi scanner. For firmaernes jobsiderne har vi udviklet et program der kan forstå de fleste forskellige måder som virksomhederne kan finde på at opstille deres jobannoncer. Derefter har vi programmer der kan fjerne dupletter og kan kategorisere jobannoncerne i 80 forskellige jobkategorier baseret på hvilke ord, der findes i jobannoncerne. Det har alt sammen taget mange år at udvikle.

Boligsiden er derimod ejet af ejendomsmæglerne, så de får formodentlig et XML-feed.

Kaare Danielsen, Jobindex

Svar: Teknisk: jobindex scanner andre jobbaser..-hvordan?

Anonymous — Tue, 12 Jan 2010 11:46:12 GMT

Andreas Lolk:
De skal skrive i betingelserne, at man konkret ikke må kopiere dem - ellers er det fuldt lovligt.

Ved ikke om det er korrekt brug af karma-systemet, med det der får en 1'er herfra. Det er absolut problematisk at rådgive omkring jura, hvis man ingen forudsætninger har for det.

Jeg har selv arbejdet på en crawler for en kunde, hvor vi ifbm. forarbejdet havde en advokat inde over og fandt tidligere domme, for at få en fornemmelse af hvordan en retssag vile forløbe. Man har som udgangspunkt ophavsret på det man skaber og behøver ikke skrive det noget sted.

Hvis du skal kopiere noget, så prøv som udgangspunkt at få tilladelse til det. Ellers skal du være opmærksom på, at det godt kan komme til at koste dig kassen.

Svar: Teknisk: jobindex scanner andre jobbaser..-hvordan?

Niels Boldt — Tue, 12 Jan 2010 11:06:22 GMT

Der er forskellige open source projekter der kan bruges. Se eksempelvis http://lucene.apache.org/nutch/ som er en opensource crawler.

De fleste crawlere er desværre ikke plug 'n play, det kræver noget tid og konfigurering at få det til at kløre ordentlig

Niels

Svar: Teknisk: jobindex scanner andre jobbaser..-hvordan?

Andreas Lolk — Tue, 12 Jan 2010 10:40:02 GMT

Jeg har desværre ikke nogle links - Men prøv at google website crawler setup eller lignende.

Svar: Teknisk: jobindex scanner andre jobbaser..-hvordan?

Website — Tue, 12 Jan 2010 10:35:18 GMT

Hi Andreas Lolk ,

Ahaaa...gid du eller andre kan fortælle mig hvor på nettet man kan læse om "opbygning af crawleren" på nettet ...

Svar: Teknisk: jobindex scanner andre jobbaser..-hvordan?

Andreas Lolk — Tue, 12 Jan 2010 10:27:46 GMT

Mattias Skovhøj:

Tja, det er muligt, at de har aftalt at bytte content og derfor gør det via xml eller noget andet, men det kan jo godt lade sig gøre at "rippe" en konkurrents side uden at have fået lov - men så er der jo tale om brud på ophavsretten! :-)

www.php.net/file kan feks hente alt content fra en anden hjemmeside.

De skal skrive i betingelserne, at man konkret ikke må kopiere dem - ellers er det fuldt lovligt.

Jobindex, OFiR, careerjet.com og en masse mindre jobdatabaser gør også dette. Det er til dels en kanon ydelse til kunder på fx jobnet, da de får en gratis std. annonce på Jobindex.

Rent teknisk, så er det en crawler du laver. Du sætter den til at kopiere stykke x og sætte x ind på din egen side. Dette gør du så med alle punkter, som du ønsker at have med fra den enkelte hjemmeside / jobdatabase.

En god programmør ville kunne lave dette..

Svar: Teknisk: jobindex scanner andre jobbaser..-hvordan?

Mattias Skovhøj — Tue, 12 Jan 2010 10:19:24 GMT

Tja, det er muligt, at de har aftalt at bytte content og derfor gør det via xml eller noget andet, men det kan jo godt lade sig gøre at "rippe" en konkurrents side uden at have fået lov - men så er der jo tale om brud på ophavsretten! :-)

www.php.net/file kan feks hente alt content fra en anden hjemmeside.

Teknisk: jobindex scanner andre jobbaser..-hvordan?

Website — Tue, 12 Jan 2010 10:13:21 GMT

Hej alle sammen,

Alle ved at jobindex.dk viser jobs som er opstillede i andre jobsites.

Alle ved at boligsiden.dk viser boliger som er oprettet i andre boligsites.

Så mit spørgsmål er, hvordan er det teksninsk muligt....modtager jobindex og boligsiden xml feeds fra alle de pågældende sites ?