Voolukatkestuse lugu vol 2

“Teatan alandlikult, härra ülemleitnant, ma olen jälle siin!” kuulutas Švejk ukse juurest seesuguse siira sundimatusega, et ülemleitnant Lukaš sai otsekohe enesevalitsuse tagasi. – J.Hašek

Mis siis juhtus?

Esmaspäeval, ametlikel andmetel 11.09 ja 11.14 vahel (kohalviibinute väitel täpselt 11.11) toimus Sõle tänava piirkonnas keskpingerike, mis jättis Linxtelecomi serverikeskuse ilma võrgutoiteta.

Iseenesest ei ole selles midagi erakordset, tõrkeid ikka juhtub ja sellisteks puhkudeks varusüsteeme paigaldataksegi. Nii ka seekord, võrgutoide kadus, UPSid võtsid üle ja generaator hakkas diiselkütuse avariivaru neelama. Õnnetuseks aga ei olnud üks UPSidest just sel päeval oma ülesannete kõrgusel. Paraku just see, mis pidi meie seadmetele varustuskindluse tagama. Zone Media töötajad, kelle selle päeva tasklist nägi ette plaanilisi korrastustöid, pidid jälgima, kuidas nende endi silme all kõik kapid “pimedaks” lähevad. Üksildaselt vilkusid ruumis vaid 48V varutoitel olevad võrguseadmed.

Pärast kahjustuse lokaliseerimist võisime mõningase kergendusega veenduda, et terve hulk kriitilisi infrastruktuuri osasid ja pilveserverid jäid tõrkest puutumata. Linxtelecomi töötajate abiga õnnestus kell 11.39 kõik serverid uuesti vooluga varustada. Järgnes juba serveritarkvara kontroll, teenuste taastamine ja vigaste riistvarakomponentide asendamine, mis kestis hilisõhtuni.

Mida sellest õppisime?

Esiteks – välk lööb samast toitepaneelist välja ka mitu korda ja miski ei ole garanteeritud.

Teiseks – oleme teinud õigesti, kasutades mitut teenusepakkujat ning luues sellega mitu sõltumatut käideldavustsooni. Serverid on jagatud ümber nii, et ühe asukoha kaotus ei halvaks kõiki teenuseid. Samasugused valikuvõimalused on meie klientidel – võtta pilve- või privaatserveri teenused mitmes asukohas korraga.

Viimaseks – meil oli kohutavalt õnne, et meie töötajad olid õigel ajal õiges kohas.

Palume oma klientidelt siiralt vabandust toimunu eest.