Det er forholdsvis simpelt at lave scrapers, men du skal være opmærksom på at det er ulovligt at gengive data som du ikke har ophavsretten til uden samtykke.
Når det er sagt, så vil jeg foreslå at du tager kontakt til de konkrete sider du gerne vil scrape fra og spørge om de vil stille et feed (RSS/JSON/XML/whatever) til rådighed med data som du må gengive. Mange gange siger de ja, især hvis du kan tilbyde noget i bytte (som eksempelvis en øgning i besøgende til deres website).
Med et feed får du hvad du skal bruge og behøver ikke bruge en særligt kodet scraper.
PHP Freelancer med speciale i Laravel og API integrationer
Når det er sagt, så vil jeg foreslå at du tager kontakt til de konkrete sider du gerne vil scrape fra og spørge om de vil stille et feed (RSS/JSON/XML/whatever) til rådighed med data som du må gengive.
Jeg er selv ved at undersøge mulighed for affiliate og hvordan det kan gøres. Har du erfaring med at få sælgers produkt katalog i XML/JSON, og hvilken afdeling man evt. tager fat i og spørger?
Lad os tage Telia som eksempel, vil du skrive ind du er ved at lave en affiliate side hvor du vil sælge telefoner, og vil høre om de er interesseret i at give et XML/JSON feed i mod at man linker til deres side fra din? Hvis man viderestiller og de får et salg, får man så % af salget, hvilken aftale plejer man at lave?
Jeg er selv ved at undersøge mulighed for affiliate og hvordan det kan gøres. Har du erfaring med at få sælgers produkt katalog i XML/JSON, og hvilken afdeling man evt. tager fat i og spørger?
Det svinger lidt med mulighederne, men det er klart at formålet er det absolut vigtigste. Hvis sælger ikke har et eksisterende feed til lignende formål, så skal man bevise værdien i feedet for sælgeren. Der har jeg god erfaring med nogle forhandlingsteknikker.
Lauritz:
Lad os tage Telia som eksempel, vil du skrive ind du er ved at lave en affiliate side hvor du vil sælge telefoner, og vil høre om de er interesseret i at give et XML/JSON feed i mod at man linker til deres side fra din? Hvis man viderestiller og de får et salg, får man så % af salget, hvilken aftale plejer man at lave?
I dette tilfælde er din fornemmeste opgave at få fat i en hos Telia som kan give dig den aftale på dit affiliate salg som du ønsker. Da du ved at Telia i forvejen har en aftale med PriceRunner, er det bare et spørgsmål om at spørge dem om du kan få adgang til det samme feed som PriceRunner bruger og sekundært hvordan de gerne vil have besked om at referencen kommer fra dit website.
Alt i alt, er Telia faktisk et ret nem partner at komme igang med - rent teknisk.
PHP Freelancer med speciale i Laravel og API integrationer
Tak for alle svarende. Jeg kender godt til product feeds og affiliate programmer, det jeg skal bruge er en specialist som kan bygge "robot" til at scrape en hjemmeside. Mange indenfor branchen har ikke productfeeds, hvilket vil gøre det lettere og hurtigere at scrape deres produkter.