Hjælp til salg (Ikke internet)

Svar: Er det muligt at få lavet følgende site?

indosoft — Tue, 14 Sep 2010 10:15:34 GMT

Hej Lars,

Niels har givet dig det rigtige svar allerede, men en god ide er, at henvende dig til de shops du vil crawle og spørge om lov til at crawle deres site. Vi har ogsaa lige lavet en hvor vi ogsaa faar tilsendt xml filer fra en af de sites der skal scannes (ikke shop dog), men er det shops det drejer sig om er det nok ikke muligt for dig.

Med venlig hilsen

Lars

Svar: Er det muligt at få lavet følgende site?

Lars T. Andreasen — Mon, 13 Sep 2010 23:02:36 GMT

Tak for hjælpen alle sammen, jeg leger lidt vidre med tanken.

Svar: Er det muligt at få lavet følgende site?

Casper Schneidereit — Mon, 13 Sep 2010 22:14:06 GMT

Lige præcis! Og jeg tror ikke du finder nogen nemmere løsning sådan lige pt., desværre.

Med venlig hilsen
Casper Schneidereit

Svar: Er det muligt at få lavet følgende site?

Lars T. Andreasen — Mon, 13 Sep 2010 20:06:19 GMT

Hej Casper,

Jeg sad faktisk i går og læste din tråd, hvor du havde den til salg igår. Men jeg går udfra at når du har oprettet databasen så skal du manuelt ind og tilknytte de forskelige sites?

Mvh

Lars

Svar: Er det muligt at få lavet følgende site?

Niels Henriksen — Mon, 13 Sep 2010 19:53:13 GMT

Kevin:
Det passer ikke rigtig, mange webshop har en export funktion til xml, hvor sådan sider som pricerunner kan hente deres infomation, så de ikke behøves at crawle, eller lægge noget ind manuelt.

Den havde jeg så ikke lige tænkt på :) Tak for info.

Svar: Er det muligt at få lavet følgende site?

Casper Schneidereit — Mon, 13 Sep 2010 18:52:48 GMT

Hej Lars,

Jeg gør næste det du eftersøger på parfume priser. Der er oprettet en database med alle parfumer. Hvis en webshop føre en parfume, kan man tilknytte den direkte url for hver parfume. Der er en parser-fil, som automatisk henter prisen, når den bliver kørt. Se eksempel Britney Spears: Curious, 30 ml.

Med venlig hilsen
Casper Schneidereit

Svar: Er det muligt at få lavet følgende site?

Lars T. Andreasen — Mon, 13 Sep 2010 18:36:36 GMT

Ok, men det er jo ikke sikkert at butikkerne vil sammelignes på priserne, så ville man jo ikke få deres priser med ind :)

Svar: Er det muligt at få lavet følgende site?

Kevin Simper — Mon, 13 Sep 2010 18:27:38 GMT

Niels - netopcom.dk:

Lars T. Andreasen:

Vil det sige den skal ind på alle produkter under et mærke eller er det nok at den kommer ind under mærket og kan se produktet findes i f.eks. 4 farver?

Det der skal laves (hvis ikke butikkerne selv skal lægge varer ind - hvilket de ikke har tid til) er en webcrawler som skal crawle de andre sider. Ud fra det indhold du får skal du gemme de nødvendige data som du kan bruge i en søgning på din side.

Selve crawleren er nem at lave men den tager tid da den skal "lære" alle de sites du vil have med.

Det passer ikke rigtig, mange webshop har en export funktion til xml, hvor sådan sider som pricerunner kan hente deres infomation, så de ikke behøves at crawle, eller lægge noget ind manuelt.

Svar: Er det muligt at få lavet følgende site?

Niels Henriksen — Mon, 13 Sep 2010 18:14:28 GMT

Lars T. Andreasen:

Hvis man så har 20 shops, kan den så tage flere shops af gangen eller kun 1?

Tommy kom med et rigtigt godt svar.

Det man kan gøre er at programmet kan køre flere "ad gangen". Det kommer også an på hvad det laves i.

Hvis jeg f.eks skulle lave det i .NET så kan man sætte et program til at køre sig selv flere gange (tråede programmer) således at det kan tage flere site på samme tid.

Og ideen er vel at det skal kunne køre automatisk :)

Svar: Er det muligt at få lavet følgende site?

Anonymous — Mon, 13 Sep 2010 18:11:34 GMT

Lars T. Andreasen:
Nu nærmer vi os, når du siger det tager tid da den skal "lære" alle de sites jeg vil have med at kende, hvor lang tid snakker vi så om.

Rent teknisk er det ikke scriptet/programmet, der skal lærer noget, men programmøren. Programmøren skal gennemskue sidens opbygning, så han kan lave en løsning der placerer tekst, billeder og pris de rigtige steder.

Selve det at køre siden igennem kan gøres på under en time, men det er nok en god idé at indlægge en forsinkelse for ikke at genere ejeren/serveren for meget.

Jeg er selv lige blevet færdig med to lignende scripts i sidste uge, hvilket tog 8 timer for de to til sammen (én for hver af de to shops jeg ønskede at kopiere).

Scriptet gør følgende:
- Tager en kopi af overskrift, tekst, pris, billede og url og gemmer i databasen.
- Hvis siden allerede findes i databasen opdater den kun prisen (da jeg manuelt kan have valgt at ændre titel og tekst).
- Hvis siden ikke længere findes på url'en, bliver et felt kaldet 'inaktiv' markeret med et 1-tal i stedet for et 0, så jeg ved at dette produkt ikke længere skal vises overfor mine besøgende.

Hvis du vil have lidt hjælp til projektet, skal du være velkommen til at sende dine kravspecifikationer, så kan jeg højest sandsynligt bidrage med struktur og forklaring af funktionerne.

Lars T. Andreasen:
Hvis man så har 20 shops, kan den så tage flere shops af gangen eller kun 1?

Så kunne du evt. skiftes til at tage én side fra hver, for at mindske belastningen på shoppens server. Ellers er der intet i vejen for at have 20 eksemplarer af scriptet kørende samtidig (selvom fordelen ville være meget begrænset).

Svar: Er det muligt at få lavet følgende site?

Lars T. Andreasen — Mon, 13 Sep 2010 18:09:43 GMT

Hvis man så har 20 shops, kan den så tage flere shops af gangen eller kun 1?

Svar: Er det muligt at få lavet følgende site?

Niels Henriksen — Mon, 13 Sep 2010 18:02:15 GMT

Lars T. Andreasen:

Nu nærmer vi os, når du siger det tager tid da den skal "lære" alle de sites jeg vil have med at kende, hvor lang tid snakker vi så om. Det er jo ikke morsomt hvis den kun kan nå at opdatere sitet en gang hver 14 dag. Så er det jo forældet oplysninger der ligger.

Når først den har "lært" et site så kan den køre dem hurtigt igennem derefter. Men hvis det skal laves i hånden af en dygtig programmør så kommer det an på hvordan "donor" sitet er bygget op. Så alt fra et par timer til en dag pr site.

Svar: Er det muligt at få lavet følgende site?

Lars T. Andreasen — Mon, 13 Sep 2010 17:59:28 GMT

Nu nærmer vi os, når du siger det tager tid da den skal "lære" alle de sites jeg vil have med at kende, hvor lang tid snakker vi så om. Det er jo ikke morsomt hvis den kun kan nå at opdatere sitet en gang hver 14 dag. Så er det jo forældet oplysninger der ligger.

Svar: Er det muligt at få lavet følgende site?

Niels Henriksen — Mon, 13 Sep 2010 17:53:26 GMT

Lars T. Andreasen:
Hvis man nu sætter sitet til at søge på min kones shop under http://renleg.dk/bobles/products kan den så finde ud af at inddele efter bobles krokodille, elefant, kylling osv. og også sotere op i farver

Ja hvis den har lært at på lige præcis dén side kan finde farver bestemte steder.

Svar: Er det muligt at få lavet følgende site?

Anonymous — Mon, 13 Sep 2010 17:50:24 GMT

Tag evt. et kig på http://webdataparser.com/, den kan nok hjælpe dig hurtigt i gang. Så kan du få din egen pc til at snuppe alle data og så manuelt uploade dem til databasen en gang i døgnet.

Så er det kun præsentationen af data som du skal kode selv.

(Tjek evt. videoen først, da jeg ikke er helt sikker på om programmet kan løse dit behov)