Все компоненты зелёные, а продакшн лежит: разбор аварии, которую нашли в git

Инфраструктура была покрыта кодом почти на сто процентов. Мониторинг покрыты все компоненты. В момент аварии все метрики базы данных были идеальными, соседние сервисы на том же сервере СУБД работали без единой ошибки, провайдер облака показывал зелёный статус. При этом продакшн лежал двадцать минут, и первые пятнадцать никто не понимал, что происходит…