Недавно мне задали вопрос: «Какую ошибку ваших сотрудников вы запомнили больше всего?»
В одной из моих прошлых компаний мы планировали переезд в новый датацентр. Системный администратор настроил восстановление базы данных из копии прошлого дня, но зачем-то сделал это ежедневной задачей, собираясь, очевидно, отключить задачу после переезда, и.. забыл.
День в новом датацентре мы прожили спокойно, а через сутки случился апокалипсис – база перезатерлась и мы потеряли данные за полный бизнес день в нашей информационной системе, которая, надо сказать, отвечала за все: данные по складу, передвижения товаров по нему, закупки, поставки и отгрузки, заказы всех пользователей, оплаты по ним, данные новых пользователей и многое другое.
Нам пришлось восстанавливать базу из всевозможных косвенных источников, при этом компания продолжала операционный день и восстановление должно было произойти с учетом всех новых изменений.
Этот ад длился около 60 часов без перерывов на сон и поездок домой. Мы в итоге чудом справились, но этот опыт крепко впечатался в память всех, кого он коснулся.
Опубликовано на gd.ru
