Ged på uventet besøg

  Hvis der endelig skal gå ged i den, så kan den også lige så godt gøre det ordenligt.

Jeg mindes ikke at vi i MediaMouse eller i nogen anden virksomhed jeg har haft med at gøre, har været ude for et så omfattende IT-nedbrud som jeg pt. står midt i.
Det hele startede fredag eftermiddag (d. 1/7) hvor der pludselig var en strømafbrydelse i Allerød som gik ud over det meste af industrikvarteret. Det var selvfølgelig lige i det store ryk hvor vi havde en masse ting som skulle køres færdige og sendes ud af døren. De store maskiner gik selvfølgelig i stå med det samme og så var det ellers med i en helvedes fart at få hevet medierne ud af maskinerne og få styr på farverne. Men så opstod det næste "sjove": Alt vores IT, lige fra servere til arbejdsstationer, har nødstrøm - men kun til ca. 20 minutters drift. Så serverne lukkede ned og arbejdsstationerne fik en mere eller mindre hård nedlukning.

Strømmen var så væk i ca. 3 timer og da den kom tilbage var der flere spændende oplevelser i vente:
Først og fremmest, så havde vores to virtuelle servere ikke nået at lukke korrekt ned før strømmen til dem røg. Men gudskelov så har de diske i RAID og en eller anden form for fejltolerance generelt. Så efter at have kørt et check af diskene i et par timer, så startede de og systemerne på dem op som de skulle. Så det er jo rart at vi har været forudseende og sørget for at have et rimeligt "robust" setup - eller rettere; Det troede jeg vi havde.
For en ting var at serverne startede op - noget andet var at en stor del af netværket var dødt. Strømafbrydelsen havde tilsyneladdende kostet en netværksswitch livet. Men til alt held havde vi en liggende til overs, dog kun en 100Mb men det var bedre end intet liv i netværket.

Fredag aften var alting kørende igen og jeg og en kollega kunne tage lettede hjem og holde weekend - og jeg er ganske glad for at jeg ikke på forhånd vidste hvad ged'en havde planlagt til weekenden...

Lørdag eftermiddag var sjælland, som de fleste nok ved, ramt af et kæmpe uvejr. Og det var Allerød også, dog ikke med så meget vand, men tilgengæld en hel del lynnedslag.
Og det var så her hvor der gik helt ged i den. Et lynnedslag havde på en eller anden måde fået taget livet af vores ene SAN (centralt system med en masse diske til opbevaring af data fra servere m.v.). Og jeg som har arbejdet i IT-sikkerhedsbranchen og ellers var rimeligt tryg ved vores setup som kører RAID (en række harddiske sat op således at data ikke går tabt selvom en disk skulle gå i stykker), måtte indse at det ikke nødvendigvis er ensbetydende med at der ikke kan gå ged i det.
For det kan godt være at systemet kan tåle en disk ryger, men hvad hvis hele systemet til diskene ryger i stedet for? Alle vores arbejdsfiler lå på det SAN, så alt hvad der havde med kundeopgaver og interne dokumenter at gøre var væk.
Vi har et andet SAN som primært indeholder filer der bruges imellem serverne. Så det kunne vi koble vores filserver over på og så derved kunne bruge diskene derfra. Men så skulle dataerne så rykkes fra det defekte system over på det andet kørende system uden at slette de eksisterende data. Noget der ville tage noget tid, men trods alt ville kunne lade sig gøre. Men for pokker noget rod og alt dette har jo også været ensbetydende med at vi INTET fornuftigt har kunne få lavet i dag, bortset fra nogle ganske simple opgaver som kunne hives direkte fra emails og over på f.eks. de servere som styrer storformat-printerne.

Og ja - vi har en backup. Men 7 TB data er altså noget som tager EVIGHEDER at få reetableret hvis det skulle hives ind fra backup'en.
I skrivende stund (kl. 19:50) har reetableringen imellem diskene fra det defekte system og de andre diske kørt siden kl. ca. 10 i formiddags - og den er nu nået til 31%...

For en gangs skyld har jeg faktisk ikke noget godt råd at slutte af med, hvilket jeg ellers plejer at have i alle mine blogindlæg.
Det må istedet blive en konklusion af at uanset hvilke forholdsregler man træffer, så kan der alligevel slippe en ged ind...

/Jesper