SvD.se missade råndramats upplösning, varför?

Under de allra mest intensiva minutrarna i råndramat lyckas vår sajt gå ner helt.

Webbredaktionens hårda slit och fotografernas bilder från plats fastnar i vårt publiceringssystem och når inte läsarna, som istället ser en statisk sida från backupsajten. Klarar vi inte lite extra besökare? Eller vad hände?

Faktum är att det var en kombination av misstag och extrem otur.

Vi höll på att uppgradera våra webbservrar till en senare version av operativsystemet, och servern på tur var en databasserver som inte var aktiv (slav).

Det borde alltså gått bra.

Dessvärre uppgraderades även replikeringskoden som bestämmer vilken server som är master (aktiv) respektive slav.

Detta var misstaget.

Under uppgraderingen ansåg replikeringen att master och slav borde växla funktion, så svd.se börjar plötsligt hämta data från den inaktiva databasen.

Innan felet var hittat och åtgärdat hade det gått en halvtimme, och inte vilken halvtimme som helst utan just den tiden då ett spektakulärt ingripande görs mot ett rånförsök och gisslandrama vid en bank på Östermalmstorg.

Detta var extrem otur.

Men som med alla misstag lär man sig något, och vi kom underfund med några förbättringspunkter i våra rutiner att hantera akuta tekniska problem.

För misstag kan ske, även hos SvD.se…..