Web nefunguje. Čo urobiť počas prvých 15 minút?
Pokojný postup od prvého upozornenia po obnovu služby. Ako overiť rozsah výpadku, zastaviť ďalšie zmeny a nestratiť čas náhodnými reštartmi.
Príde upozornenie, zákazník nevie dokončiť objednávku a v tímovom chate sa objaví niekoľko rôznych vysvetlení. Prvé minúty výpadku rozhodnú o tom, či budete postupne zužovať problém, alebo meniť päť vecí naraz. Cieľ je jednoduchý: zistiť dopad, obnoviť službu a ponechať si dôkazy o tom, čo sa stalo.
Najprv potvrďte, čo skutočne nefunguje
Otvorte službu z inej siete a pozrite si posledné úspešné kontroly. Nefunguje celý web, iba prihlásenie alebo konkrétne API? Jeden neúspešný pokus ešte nehovorí, či je chyba na serveri, v DNS alebo na ceste k nemu. Zaznamenajte čas, adresu a presný prejav chyby.
Rozlišujte chybu spojenia od HTTP odpovede. Kód 503 znamená, že server odpovedal, no služba je nedostupná; timeout neposkytuje rovnakú informáciu. Ak funguje hlavná stránka, overte aj krok, ktorý zákazník potrebuje dokončiť. Zdravá domovská stránka nemusí znamenať zdravý produkt.
Zastavte zmeny a určte jedného koordinátora
Pozastavte ďalšie nasadenia a dohodnite sa, kto vedie diagnostiku. Druhý človek môže sledovať dopad a komunikovať. Aj v malom tíme pomáha jeden spoločný zápis: čo vieme, čo skúšame a aký bol výsledok. Súbežné zásahy bez záznamu vedia zakryť pôvodnú príčinu.
Hľadajte poslednú zmenu, potom úzke miesto
Porovnajte začiatok incidentu s nasadením, zmenou konfigurácie, DNS alebo databázovou migráciou. Časová zhoda je vodidlo, nie dôkaz. Skontrolujte chyby aplikácie, pripojenia k databáze, disk a využitie zdrojov. Reštart bez týchto údajov môže na chvíľu pomôcť, ale zmazať užitočnú stopu.
Ak máte bezpečný návrat na predchádzajúcu verziu, zvážte ho skôr než improvizovanú opravu. Pri migrácii databázy však overte kompatibilitu starého kódu s novou schémou. Obnova prevádzky má prednosť pred úplným vysvetlením, nie pred ochranou dát.
Komunikujte aj vtedy, keď príčinu ešte nepoznáte
Napíšte, ktoré funkcie sú zasiahnuté a kedy príde ďalšia aktualizácia. Nesľubujte čas opravy bez podkladov. Po zásahu overte službu zvonka a sledujte ju počas viacerých kontrol; jediné úspešné načítanie nestačí na uzavretie incidentu.
- Potvrďte výpadok a jeho rozsah.
- Pozastavte zmeny a zapisujte zásahy.
- Obnovte službu bezpečným, overiteľným krokom.
- Overte zákaznícku cestu a oznámte obnovenie.
Čo si odniesť
Pripravte si tento postup vopred a pripojte k monitoru kontakt na zodpovedného človeka. Upozornenie ušetrí čas iba vtedy, keď po ňom nasleduje jasná reakcia.
