At arbejde med store mængder data/prislister (import/export)

Beklager på forhånd hvis kategorien er forkert, men der findes ikke rigtigt en kategori til denne slags semi-tekniske issues... 

Jeg står over for to udfordringer, og jeg er nu ret sikker på at ... 

1. Import/export af prislister
2. Lead/kunde håndtering (CRM)

Selvom man kan sige at netop jeg burde vide det da jeg netop forhandler alverdens herlige typer software så står jeg alligevel ved en skillevej og skal vælge den løsning der passer til netop mit behov. Altså, hvilken software skal man vælge? Skal det være online i skyen eller offline? Skal det være Open Source eller betalings software? Og så nok det vigtigste, hvordan arbejder man effektivt med de store mængder data?

Import/export af prislister

Fra leverandører få man prislister i lige prøcist det format der passer den enkelte (import), 90% af produkterne skal ind i mit E-commerce/ERPsystem. Og så har man tre muligheder.

1. En linie af gangen
   Man åbner filen, finder den enkelte vare, kopierer celle til celle over på "Opret produkt", gemmer og så næste... Det er en temmelig g tidskrævende procedure, ikke mindst når man ved at man kan risikere at hele prislisten skal laves om i morgen....
    
2. En fil af gangen
   Man kopierer den enkelte fils kolonner ind i et andet preformateret spreadsheet, hvorfra man så efter et par timers tilretning kan importere den korrelt ind i systemet, med tilknytning til kategorier, fragt specifikationer mv... Dette er satdig en temmelig tidskrævende procedure, specielt når man skal fra 800 varenumre og op på 10000 indenfor max. to måneder.
    
3. Hel eller delvis automatisering
   Alle filer konverteres og valideres automatisk til korrekt format (som evt. kan indlæses af cronjobs)
   Det smarteste ville jo være hvis man kunne have en "hotfolder" med filer, et (stadig udefineret system) til at scanne dem, en projekt fil til at kendes deres præferencer, format mv. Og så det færdige "produkt", dvs. en fil i en resultat-mappe der indeholder det fine resultat af hvad der normalt ville tage en evighed at gøre manuelt. 

Og det er jo så her at du kommer ind i billedet - hvilken løsning skal man vælge/teste på til at håndtere sådan et behov ? 

Og så er der jo det andet behov...

Lead/kunde håndtering (CRM)

Denne er nok i reelt noget nemmere da det nok er det samme behov som så mange andre har. Leads og kunder kommer som vinden blæser fra mange forskellige kilder... og jeg mangler virkelig desperat et system til at holde styr på det, jeg har data på mail, googledocs, gamle excelfiler, kundeudtræk fra database, Skype chat, facebook chat, linked in,gule sedler, wordfiler og sågar på sms... det kan ikke undgås at man mister overblikket og det er nu sket... Min kommunikation foregår i vid udstrækning på mail men aftaler om telefonmøder, opfølgning osv. osv skal planlægges og struktureres, ikke mindst er individuelle notater for den enkelte vigtigt.

Hvad er dit bud på en fornuftig fremtidssikret løsning ? 

Hvad jeg personligt selv ville gøre, var at lave et python script, der læser data'en, processer dataen som man nu vil have den, og sætter ind i systemet.

Ja, det er også et rigtigt fint forslag for alle der kan programmere python :)