Hjælp til Amino's services

Svar: Helt vild langsomt...

Lundsby — Wed, 11 Apr 2012 09:09:31 GMT

jjn:
Jeg har nu aldrig hørt om mange sekunders serialization af state-data alene, men jeg kunne forestille mig, at hvis I kører hele det aktuelle objekthierarki over databasen, så forstår jeg det muligvis :-)

Bare smæk en god sjat af de indbyggede generic collection klasser i, så har man et par sekunder.

jjn:
Hvor meget fokuserer I på koden fremfor server-setup'et?

Det er altid en helheds betragtning, her tog vi udgangspunkt i det konkrete problem hvor App Pool'en havde meget svært ved at komme op igen. Men der er flere andre flaske halse steder som der også skal kigges på.

jjn:
Mener I, at sløvheden i mandags skyldtes gentagne recycles af app pool'en? Jeg synes, at det lyder meget mærkeligt.

Det er meget naturligt i en app, der i afhænger af cache. AppPoolen nulstiller cachen så den skal bygges op igen, hvis den så samtidigt rammes af en masse requests for du formendtligt en masse der prøver at bygge samme cache, hvilket sandsynligtvis åbner posen for en masse parallel programmeringsproblematikker.

jjn:
Jeg kan selvfølgelig kun være enig i, at recycle af app pool vil give problemer i længden, men ved I hvorfor der blev recyclet?

IIS'en er designet til at recycle app poolen, det er en situation som man hverken kan eller bør forhindre. Som standard recycler den faktisk hver 29. time (så vidt jeg husker)
Så det eneste der er at kører er at designe sin app, til at kunne klare disse recycles.

Teoretisk kan man sige, at det er for dårligt at .Net er designet sådan, og alle da bør skive kode der ikke leaker, garbage collectoren bør være perfekt etc. men hvis man vil lave ting der performer i den virkelige verden, så er det bare at lærer at leve med det :-)

Svar: Helt vild langsomt...

Jens Juul Nielsen — Wed, 11 Apr 2012 08:51:33 GMT

Hejsa Lundsby

Jeg har nu aldrig hørt om mange sekunders serialization af state-data alene, men jeg kunne forestille mig, at hvis I kører hele det aktuelle objekthierarki over databasen, så forstår jeg det muligvis :-)

Hvor meget fokuserer I på koden fremfor server-setup'et?

Mener I, at sløvheden i mandags skyldtes gentagne recycles af app pool'en? Jeg synes, at det lyder meget mærkeligt. Jeg kan selvfølgelig kun være enig i, at recycle af app pool vil give problemer i længden, men ved I hvorfor der blev recyclet?

Mvh

Jens

Svar: Helt vild langsomt...

Lundsby — Wed, 11 Apr 2012 08:39:51 GMT

Ib Leif:
Lundsby: Tak for god forklaring. Må vist hellere læse lidt op på "web garden".

Det er en god ide!

Det der aldrig rigtigt står i bøgerne, er at det typisk er serialization hastighed, der ender med at sætte en brat stopper for web garden drømmenene. Det er fordi at man ved web-garden er nødt til ikke at køre inproc session state, hvilket betyder at man skal serialisere sin session state frem og tilbage ved hvert kald. Det kan nemt tage optil flere sekunder, afhængigt af sessiondatas objekt-kompleksitet.

Hvis ikke sessionstate er voldsom, så kan man komme uden om noget af det ved at skrive sin egen serialization motor, det har jeg gjort et par gange, men det er rimeligt komplekst og gav ihvertfald mig et par overraskelser undervejs!

Det smartest er bare at lade vær med at bruge shared state, under webgarden men så er det farvel til session :-)

Svar: Helt vild langsomt...

Ib Leif — Wed, 11 Apr 2012 06:29:27 GMT

Lundsby: Tak for god forklaring. Må vist hellere læse lidt op på "web garden".

Svar: Helt vild langsomt...

Lundsby — Wed, 11 Apr 2012 06:13:21 GMT

Ib Leif:
Lundsby: Kan du fortælle lidt om hvad problemet er/var? Det er lidt spændende at følge med når man selv arbejder med ".NET stakken".

Som du sikkert ved så er App Pool'en man afvikler i bare nødt til recycle nogle gange, sådan er det man kan ikke rigtigt gøre noget ved det, under et recycle bliver memory med cache etc. clearet, det betyder at .Net applikationer typisk er svage lige omkring deres recycles, når man kombinerer det med et site som Amino, med rimeligt meget trafik, og en naturlig reaktion fra brugere der hedder hvis mit request behandles langsomt så sender jeg bare et nyt afsted, så kan man hurtigt se hvordan et system let når sit breaking point, og lægger app poolen ned igen, etc. etc.. Det er det vi mener skete i mandags.

Det vi har gjort for at forbedre situationen, er at lave Amino om til en såkaldt web garden, hvor i stedet for den kun afvikles i en app pool, så afvikles den i fire. En for hver kerne i serveren, det betyder at når en App Pool recycles, så bliver nye requests behandlet af de andre, uden nævneværdig performance impact.

Der er selvfølgeligt også en række ulemper ved Web Garden, som gør at det bestemt ikke er alle apps, hvor det lige kan aktiveres, men for Aminos tilfælde var arkitekturen heldigvis umiddelbart sådan at vi lige kunne slå over.

Men som sagt, så er arbejdet med Amino performance langt fra slut, og der er en masse forskellige tiltag som Aminos udviklere vil indføre i den nærmeste fremtid, f.eks. prekompilering, optagelse og genskabelse af spidsbelastninger på test server, forbedring af error logging, vi har installeret New Relic og vil pinpointe de steder på Amino, der tager længst tid, når de er fundet vil vi via DotTrace systematisk få dem speedet markant op. Målet er selvfølgeligt at leverer et stabilt og markant hurtigere Amino, og det mener jeg bestemt er realistik at nå!

Svar: Helt vild langsomt...

Thomas Wichmann — Wed, 11 Apr 2012 02:14:14 GMT

Samme her.. Ofte er der mega lang tid for at loade bare forsiden.. Andre gange en 500 Internal Server error.

Nogle gang kan man slet ikke svare på indlæg..

Svar: Helt vild langsomt...

Peter Skouhus — Wed, 11 Apr 2012 01:57:04 GMT

Også store tak fra Manila skal det lyde :)....Joe Bradley Tester er en glad mand, nu kan han fokusere på at få de næste 55 opgaver som ligger i pipelinen bragt i orden.

Svar: Helt vild langsomt...

Ib Leif — Tue, 10 Apr 2012 20:41:51 GMT

Lundsby: Kan du fortælle lidt om hvad problemet er/var? Det er lidt spændende at følge med når man selv arbejder med ".NET stakken".

Svar: Helt vild langsomt...

Lundsby — Tue, 10 Apr 2012 18:22:32 GMT

Martin Thorborg:
Lundsby I Kiss You!!!!

Tak, tak, det er jo ihvertfald bedre end prygl!

Det var super, at vi så hurtigt kunne se resultater, nu glæder jeg mig til at hjælpe med at gøre Amino endnu hurtigere, der er en masse muligheder få sitet en god del hurtigere, faktisk er vi kun lige begyndt :-)

Svar: Helt vild langsomt...

Anonymous — Tue, 10 Apr 2012 13:28:48 GMT

Martin Thorborg:
Lundsby I Kiss You!!!!

Hmmm tror jeg nøjes med 5 ....... Selv om meningen nok er det samme.....

/Henrik

Svar: Helt vild langsomt...

Torben Brighs — Tue, 10 Apr 2012 13:28:42 GMT

Jacob Rohde:
Vi har i dag tweaket nogle ting på vores webserversoftware (efter at have haft besøg af Lundsbye ), så surf gerne meget rundt og se om det har hjulpet lidt.

Det er blevet meget bedre i dag men det var også helt godnat i går

Svar: Helt vild langsomt...

Martin Thorborg — Tue, 10 Apr 2012 13:24:15 GMT

Lundsby I Kiss You!!!!

Svar: Helt vild langsomt...

Lundsby — Tue, 10 Apr 2012 12:45:08 GMT

Det var super lige at kigge forbi, den lille ændring vi lavede skulle gerne betyde at debatten får optil fire gange så mange hestekræfter at rutte med!

Vi ved ikke præcist hvad der skete igår, men vi har en hypotese, hvis den er rigtig burde det ikke ske igen.

Derfor er det vigtigt at I bruger Amino, så meget som muligt ikke bare som læsere men også som skrivere. Det kan være en god ide, også at få sine venner på Amino, hurtigst muligt, så vi kan finde ud af om problemet er løst :-)

Som Jacob skriver, så er arbejdet med Amino's performance langt fra overstået og vi vil i fremtiden lave endnu mere tuning, samt få bygget et setup så performance problemer kan håndteres relativt hurtigt og smertefrit.

Svar: Helt vild langsomt...

Tonny Skov Pedersen — Tue, 10 Apr 2012 11:27:27 GMT

Jep, jeg er nu ned på ca. 10-12 sekunder - ikke minutter

Svar: Helt vild langsomt...

Thomas Frost — Tue, 10 Apr 2012 11:23:37 GMT

Jacob Rohde:

Hej brugere

Vi har i dag tweaket nogle ting på vores webserversoftware (efter at have haft besøg af Lundsbye ), så surf gerne meget rundt og se om det har hjulpet lidt.

Derudvoer har vi sammen med Lundsbye startet på en process der i fremtiden kan hjælpe os med være bedre i stand til at finde kilden til dette og mulige fremtidige issues.

Jeg kan sige at det kører lagt hurtigere i dag end det gjorde i går, så Lundsby´s små tryllerier virker.