Køb et Amino Sponsorlink
Godaften alle sammen,
Vi er netop igang med at konvertere vores shop til en Magento.
På vores webshop importerer vi dagligt en .csv fil, med prisrettelser, lagerantal mv.
Dette Store Manger program (www.mag-manager.com) kan netop gøre det vi ønsker mht. importering af disse produkter. Vores problem er, at selve importen/daglige opdatering er meget langsom.
Når vi importerer starter den godt ud med ca. 20 produkter/sekund, men efter kort tid falder den, og den ender på ca. 5-6 produkter/sekund, hvilket er alt for langsomt.
Vi kan se på serveren at den ikke bruger synderligt mange ressourcer når den importerer, og vi har RIGELIGT med ressourcer til rådighed for programmet/importen, den benytter dem bare ikke.
Vi vil meget gerne høre, hvis nogen har erfaring med opsætning af dette, eller eventuelt folk som har forstand på SQL opsætning/kodning, som måske kan guide os til hvordan vi får programmet til at benytte flere ressourcer når det skal importere vores .csv fil.
God aften derude.
Hilsen
Jesper
Produkt Guiden ApS - Bærbar Dele, nemt & enkelt.Et af danmarks største udvalg af reservedele til bærbare, vi har mere end 250.000 produkter i vores sortiment. Find bl.a. Bærbar Lader, Batteri, Skærm, Tastatur, Plastik dele, Hængsler, Cover Dele og meget mere. Klik ind på Guiden, og find de rigtige reservedele til din bærbar computer.Se også vores spændende blog med guides og hjælpe til udskiftning af reservedele.
progu: Godaften alle sammen, Vi er netop igang med at konvertere vores shop til en Magento. På vores webshop importerer vi dagligt en .csv fil, med prisrettelser, lagerantal mv. Dette Store Manger program (www.mag-manager.com) kan netop gøre det vi ønsker mht. importering af disse produkter. Vores problem er, at selve importen/daglige opdatering er meget langsom. Når vi importerer starter den godt ud med ca. 20 produkter/sekund, men efter kort tid falder den, og den ender på ca. 5-6 produkter/sekund, hvilket er alt for langsomt. Vi kan se på serveren at den ikke bruger synderligt mange ressourcer når den importerer, og vi har RIGELIGT med ressourcer til rådighed for programmet/importen, den benytter dem bare ikke. Vi vil meget gerne høre, hvis nogen har erfaring med opsætning af dette, eller eventuelt folk som har forstand på SQL opsætning/kodning, som måske kan guide os til hvordan vi får programmet til at benytte flere ressourcer når det skal importere vores .csv fil. God aften derude. Hilsen Jesper
Hej Jesper.
Det skyldes en "udokumenteret feature" i magentos indexer.
Den nemmeste måde at fikse det på er at ved at køre indexeren manuelt istedet for ved hvert product_save. Eller låse den under import med lockIndexer();
Yoda har skrevet lidt om det her: http://blog.customerwise.dk/importing-products-in-magento-part-1/
God vind med shoppen!
Hej Powerhosting,
Tak for svaret.
Dog er det en lidt anden måde vi skal have lavet rettelser på.
Vi skriver direkte ind i databasen, så det er opsætningen af my.ini filen vi mangler hjælp til at opsætte, således at vi kan importere flere produkter i sekundet.
Venlig Hilsen
progu: Hej Powerhosting, Tak for svaret. Dog er det en lidt anden måde vi skal have lavet rettelser på. Vi skriver direkte ind i databasen, så det er opsætningen af my.ini filen vi mangler hjælp til at opsætte, således at vi kan importere flere produkter i sekundet. Venlig Hilsen Jesper
OK, det findes der masser af info omkring.
Generelt handler det om at sørge for mysqld kun rammer disken når det er strengt nødvendigt.
Se på parametre som
YMMV.
Powerhosting: OK, det findes der masser af info omkring. Generelt handler det om at sørge for mysqld kun rammer disken når det er strengt nødvendigt. Se på parametre som innodb_log_file_size innodb_log_buffer_size innodb_buffer_pool_size og innodb_thread_concurrency YMMV. God vind med shoppen!
Tak for det hurtige svar.
Vi skal importere ca. 260.000 produkter.
PT. er der 8gb ram og 4 CPU kerner til rådighed. Men der er mulighed for udvidelse (Virtuel server)
Har du nogen ide om hvad værdierne skal sættes til, for at få en god opsætning til dette?
progu: Tak for det hurtige svar. Vi skal importere ca. 260.000 produkter. PT. er der 8gb ram og 4 CPU kerner til rådighed. Men der er mulighed for udvidelse (Virtuel server) Har du nogen ide om hvad værdierne skal sættes til, for at få en god opsætning til dette?
Hvor stort er dit datasæt ? Altså hele din DB.
Mysqld egner sig dårligt til virtualisering desværre. Især på InnoDB da der typisk er langt til I/O
Powerhosting: Hvor stort er dit datasæt ? Altså hele din DB. Mysqld egner sig dårligt til virtualisering desværre. Især på InnoDB da der typisk er langt til I/O
Når alle produkter er kørt ind, ligger databasen på ca. 1,5-2GB.
progu: Powerhosting: Hvor stort er dit datasæt ? Altså hele din DB. Mysqld egner sig dårligt til virtualisering desværre. Især på InnoDB da der typisk er langt til I/O Når alle produkter er kørt ind, ligger databasen på ca. 1,5-2GB.
OK, så får du brug for at hæve mysql´s defaults på de ovenstående parametre.
Test dig frem til din optimale konfiguration.
Powerhosting: OK, så får du brug for at hæve mysql´s defaults på de ovenstående parametre. Test dig frem til din optimale konfiguration.
Super - Tak for det lynhurtige svar!
Har du nogle eksempler på hvordan det skal stå? Og evt. hvordan du mener det skal stå med 8GB Ram og 4 Kerner.
progu: Powerhosting: OK, så får du brug for at hæve mysql´s defaults på de ovenstående parametre. Test dig frem til din optimale konfiguration. Super - Tak for det lynhurtige svar! Har du nogle eksempler på hvordan det skal stå? Og evt. hvordan du mener det skal stå med 8GB Ram og 4 Kerner.
Jeg ved hvad jeg selv ville skrive, men det er er baseret udfra talrige tests på rigtigt jern. Du bør teste dig frem til dine optimale værdier på din virtuelle server.