Chaos Engineering: будьте внимательны к неудачам

Описание: Хаос-инжиниринг — это не просто разрушение чего-либо. Это умение вдумчиво относиться к неудачам и учиться чему-либо. Основатель и генеральный директор Gremlin Колтон Андрус объясняет это в этом отрывке из подкаста Slight Reliability со Стивеном Таунсендом!

ПОЛНАЯ ТРАНСКРИПЦИЯ:

Цель не только в том, чтобы посмотреть, можем ли мы что-либо сломать, сломать что-либо, и это, вероятно, довольно легко сделать. Цель — вдумчиво относиться к сбоям и чему-то учиться, или проверять механизм устойчивости.

И да, когда вы думаете об этом отдельно взятом хосте, вам следует провести анализ характера сбоя. Эй. Чего я ожидаю? И это ещё одна часть того, что, на мой взгляд, является дисциплиной, которую упускают из виду, когда мы говорим только о Хаос-инжиниринге. А именно: Эй, мы хотим сесть. Мы хотим спланировать эти эксперименты. Мы хотим выдвинуть гипотезу. Вот что, по нашему мнению, произойдёт. У нас будут способы это измерить. Нам, возможно, понадобится запасной план на случай, если что-то пойдёт не так, как мы всё исправим и вернём в стабильное состояние. Мы, вероятно, захотим уведомить кого-нибудь, если работаем в общей среде, чтобы это не стало полной неожиданностью.

И потом, да, если мы проведём анализ и скажем: «Эй, мы тестируем избыточность нашего сервера. А это приложение работает только на одном сервере». Бум! Вам не нужно запускать тест. Вы знаете, что подвергаетесь риску. Исправьте это. Запустите приложение на двух или трёх хостах, а затем отключите один из них. Так вы проверите созданный вами механизм устойчивости.

Но нет смысла подвергать систему риску, если вы уже знаете ответ.