19 июля 2024 года обновление EDR-решения CrowdStrike Falcon спровоцировало один из масштабнейших сбоев в истории, сопоставимый с хаосом 2017 года, который возник после атаки WannaCry. Из-за проблемного обновления продукта CrowdStrike миллионы Windows-систем показали «синий экран смерти» (BSOD), что вызвало массовые сбои в работе аэропортов, банков, медицинских учреждений и множества других организаций.
Проблемное обновление
Обновление enterprise-решения CrowdStrike Falcon Sensor затронуло рабочие станции и Windows-серверы, спровоцировав массовое возникновение «синего экрана смерти» в США, Великобритании, многих странах ЕС, Индии, Новой Зеландии, Австралии и так далее. Пострадавшие хосты уходили в бесконечный цикл перезагрузки или демонстрировали BSOD, а из строя выходили целые компании с парками, насчитывающими сотни тысяч машин.
Вскоре представители ИБ-компании CrowdStrike признали наличие проблемы и опубликовали предупреждение, в котором объяснялось, что инженеры компании «обнаружили развертывание контента, связанное с этой проблемой, и отменили эти изменения».
В компании объяснили, что причиной массовых сбоев стал файл Channel File, который содержит данные для Falcon Sensor (например, инструкции), и такой тип файлов можно исправить отдельно, без удаления обновления Falcon Sensor.
В итоге в CrowdStrike предложили следующий вариант решения проблемы:
- загрузить Windows в Safe Mode или Windows Recovery Environment;
- перейти в каталог C:\Windows\System32\drivers\CrowdStrike;
- найти файл C-00000291*.sys и удалить его;
- загрузить хост в обычном режиме.
Также в компании предложили два варианта устранения проблемы в облачных и виртуальных средах, один из которых заключается в откате на снапшоту, сделанному до 04:09 UTC. А второй вариант представляет собой процедуру, состоящую из семи шагов, и тоже включающую удаление файла C-00000291*.sys.
Предлагались и другие способы временного решения вопроса, пока CrowdStrike и Microsoft работают над исправлением.
Известный ИБ-эксперт Кевин Бомонт пишет:
«Я получил драйвер CrowdStrike, который они развернули через автоматическое обновление. Не знаю, как это произошло, но этот файл вообще не является драйвером в правильном формате, что каждый раз приводит к сбою Windows. CrowdStrike — это EDR-продукт высшего уровня, который используется везде (от PoS-треминалов до банкоматов и так далее). Скорее всего, это будет самый крупный киберинцидент в мире по масштабам последствий».
Президент и CEO CrowdStrike Джордж Курц (George Kurtz) сообщил в X, что компания «активно работает с клиентами» и подтвердил, что массовые проблемы вызваны «дефектом, обнаруженным в обновлении контента для Windows-хостов».
«Проблема была выявлена, изолирована, и исправление развернуто. Мы рекомендуем организациям убедиться, что они общаются с представителями CrowdStrike по официальным каналам. Наша команда полностью мобилизована для обеспечения безопасности и стабильности клиентов CrowdStrike», — пишет Курц.
Также глава компании подчеркнул, что это «не инцидент безопасности или кибератака», Linux- и Mac-хосты не затронуты, а исправление уже доступно. Он посоветовал клиентам обратиться к порталу поддержки для получения последних обновлений.
Последствия
Проблемное обновление CrowdStrike погрузило в хаос самые разные отрасли по всему миру. К примеру, известно, что внезапные BSOD привели к сбоям в работе:
- служб экстренной помощи 911 (скорая помощь, полиция, пожарные) в штате Нью-Йорк, на Аляске, в Аризоне, а также в некоторых районах Канады, и горячей линии по вопросам здравоохранения в Каталонии (Испания);
- множества аэропортов, в том числе Берлина, Барселоны, Брисбена, Эдинбурга, Мельбурна, Амстердама, Лондона, Цюриха и так далее, а пассажиры сообщали, что местами посадочные талоны заполняют вручную;
- авиакомпаний American Airlines, United Airlines, Ryanair и Delta Airlines, некоторые из которых были вынуждены временно приостановить полеты, и повсеместно наблюдались отмены и задержки рейсов;
- десятков больниц и пунктов скорой помощи, включая больницы в Нидерландах (Scheper в Эммене, Slingeland Hospital в Ахтерхуке, а также пункты скорой помощи в Хоогевине и Стадсканаале), Барселоне (университетская больница Терраса и Каталонский онкологический институт) и США (больница Bellevue в Нью-Йорке и больница NYU Langone);
- теле- и радиовещательных компаний и новостных агентств, включая Sky News и ABC, некоторым из которых пришлось прерывать вещание;
- ресторанов и сетей быстрого питания (к примеру, в Японии не работали около 30% ресторанов McDonaldʼs из-за проблем в работе кассовых аппаратов).
Также проблемы повлияли на работу Google Cloud Compute Engine, что привело к сбоям виртуальных машин Windows, использующих csagent.sys от CrowdStrike, но в настоящее время проблема уже устранена.
Разработчики Microsoft Azure опубликовали похожее предупреждение, заявив, что «получили сообщения об успешном восстановлении от некоторых клиентов, пытавшихся выполнить несколько операций перезапуска на затронутых виртуальных машинах». По их словам, для возобновления нормальной работы «может потребоваться несколько перезагрузок (в некоторых случаях до 15)».
Представители Amazon Web Services (AWS) заявили, что предприняли шаги для смягчения проблемы и рекомендовали клиентам, которые все еще испытывают трудности, «принять меры по восстановлению подключения».
На фоне происходящего акции CrowdStrike и Microsoft показали резкое снижение, хотя к настоящему моменту падение заметно замедлилось.
Предполагается, что случившееся может стоить CrowdStrike около 16 млрд долларов США, хотя последствия произошедшего пока еще только предстоит оценить, а приведенный выше список пострадавших отраслей и компании совсем неполон и продолжает пополняться с каждым часом.
Пользователи Reddit мрачно шутят, что сегодня продукты CrowdStrike принесли столько вреда и убытков, что все это с лихвой перекрывает любую пользу от предотвращения кибератак, для которого они были созданы.
А что в России?
Компании и организации в России и странах СНГ не пострадали от обновления CrowdStrike, так как продуктами этой компании в наших широтах практически никто не пользуется.
Представители Минцифры сообщили СМИ, что сообщений о сбоях в работе систем в российских аэропортах не поступало. По словам пресс-службы ведомства, эта ситуация в очередной раз показывает значимость импортозамещения иностранного ПО.
«Ситуация с Microsoft в очередной раз показывает значимость импортозамещения иностранного ПО, в первую очередь — на объектах критической информационной инфраструктуры», — отметили в Минцифры.
