В конце прошлой недели представители CrowdStrike сообщили, что 97% систем, затронутых неудачным обновлением, снова работают в штатном режиме. Также в компании выпустили отчет, в котором пояснили, как именно произошел сбой. Тем временем, специалисты страховой компании Parametrix оценили прямые финансовые потери американских компаний из списка Fortune 500 в 5,4 млрд долларов.
Напомним, что в середине июля обновление enterprise-решения CrowdStrike Falcon Sensor привело к тому, что миллионы Windows-систем показали «синий экран смерти» (BSOD).
Это повлекло за собой массовые сбои в работе аэропортов, банков, медицинских учреждений и множества других организаций в США, Великобритании, многих странах ЕС, Индии, Новой Зеландии, Австралии и так далее. По данным Microsoft, от сбоев пострадали около 8,5 млн Windows-систем.
Теперь специалисты CrowdStrike и Microsoft опубликовали детальные технические отчеты об инциденте. Компании сообщили, что причиной глобального сбоя стал баг в тестовой системе Content Validator. Так, выяснилось, что после прохождения Content Validator обновление не подвергалось дополнительным проверкам из-за доверия к предыдущим успешным развертываниям Inter-Process Communication (IPC) Template Type. Поэтому проблемное обновление оставалось незамеченным вплоть до развертывания на хостах клиентов, работающих с Falcon версии 7.11 и более поздних.
В CrowdStrike пообещали, что в будущем улучшат процессы тестирования (добавив фаззинг, стресс-тесты, проверки стабильности и так далее), а также будут использовать поэтапные развертывания обновлений для меньших пулов клиентов. Также впредь компания будет публиковать release notes для обновлений EDR-контента, чего раньше не делала.
В конце прошлой недели глава CrowdStrike Джордж Курц (George Kurtz) сообщил, что уже 97% Windows-систем, пострадавших от проблемного обновления, восстановлены и работают в штатом режиме. В своем сообщении Курц подчеркнул, что скорость восстановления увеличилась благодаря «созданию методов автоматического восстановления и мобилизации всех наших ресурсов для поддержки наших клиентов».
Что касается отчетов Microsoft, вице-президент Microsoft Джон Кейбл (John Cable) заявил, что для ликвидации последствий этого инцидента компания «задействовала более 5000 инженеров поддержки, которые работали круглосуточно». Также он намекнул на возможные изменения в Windows в будущем, которые помогут избежать повторения таких массовых сбоев.
В частности, Кейбл отметил, что анклавы VBS и Azure Attestation так же могут обеспечить безопасность Windows, не требуя доступа на уровне ядра, который сейчас есть у большинства защитных продуктов для Windows (включая злосчастный CrowdStrike Falcon Sensor). Он не стал уточнять, какие именно изменения могут появиться в Windows, лишь сообщил, что Microsoft продолжит укреплять свою платформу и «делать еще больше для повышения устойчивости экосистемы Windows, открыто сотрудничая с широким сообществом специалистов по безопасности».
Стоит сказать, что аналитики страховой компании Parametrix подсчитали, что только американские компании из списка Fortune 500 (среди которых пострадала примерно четверть) понесли убытки в размере 5,4 млрд долларов США из-за проблемного обновления CrowdStrike. Причем в эту оценку не включены убытки Microsoft, так как она «являлась ключевым игроком в этом событии».
В Parametrix считают, что некоторые отрасли из списка Fortune 500 практически не пострадали. Так, производство, транспорт (за исключением авиакомпаний) и финансы, по оценкам исследователей, понесли убытки в размере нескольких десятков миллионов долларов. Тогда как розничная торговля и ИТ потеряли около половины миллиарда, авиакомпании — 860 млн долларов, а банковский и медицинский секторы — более трех миллиардов.
