У хостинг-провайдера DreamHost продолжается чёрная полоса. Не успели они очухаться от взлома базы данных с хешами паролей FTP/Shell 20 января, в результате чего пришлось поменять пароли сотням тысяч юзеров, как пришла новая беда. Из-за ошибок пакетного менеджера Debian значительная часть серверов в дата-центре DreamHost оказалась неработоспособна в течение суток. Владельцам VPS-серверов нужно перезапустить Apache вручную, а если у вас был установлен пакет Debian mysql-server, то его нужно переустановить.

Утром 29 января внезапно отключилась от каналов коммуникации значительная часть серверов в дата-центре DreamHost, в результате чего веб-сервисы (Apache), а также SSH и FTP оказались недоступны на многих VPS, выделенных серверах и shared-хостинге. Проблема была впервые обнаружена в 4:03 PST (15:03 МСК), однако исправление ситуации заняло долгое время, так что некоторые сайты на хостинге DreamHost были в офлайне около суток.

Судя по хронике происшествия, только в 17:20 МСК админы смогли установить причину проблемы и попытались исправить её на первой выборке серверов VPS. В течение последующих двух часов переустанавливали пакеты на других пострадавших VPS-серверах, но к 18:35 они обнаружили, что проблема затронула также выделенные серверы.

Дальше — хуже, в 19:05 обнаружилось, что не работают FTP и веб-сервисы (Apache) на VPS-серверах и выделенных серверах. В 19:25 обнаружились проблемы с SSH там же.

Только в 19:40 админы досконально вычислили источник проблемы и заново начали накатывать апдейт на весь кластер серверов. Как выяснилось, источником неприятности стали несколько программных пакетов, которые были неудачно обработаны пакетным менеджером Debian OS. В результате ежедневной процедуры автоапдейта были удалены важные пакеты с выделенных, shared- и VPS-серверов. Как сообщается, это новый баг, который никак не связан со взломами неделю назад. Админам пришлось переустанавливать пакеты, перегружать сервера, проверять зависимости и тестировать все сервисы на каждой машине.

К началу понедельника по московскому времени большинство shared-серверов DreamHost возобновили нормальную работу, но админы продолжили решать проблему с выделенными и VPS-серверами, на многих из которых были нестандартная конфигурация. Сложнее всего было с VPS, а конкретно — с поднятием баз данных MySQL.

К 2:00 МСК в понедельник админы починили почти все базы данных на выделенных серверах и провели необходимые тесты. К этому моменту осталось настроить только около 20 серверов для shared-хостинга, где сбился FTP. В дальнейшем работа шла медленнее, потому что настраивали вручную каждый сервер в отдельности.

К настоящему моменту (31 января, 0:50 МСК) работа практически закончена, но владельцам VPS-серверов, скорее всего, нужно вручную перезапустить Apache-сервер. Кроме того, если у вас был установлен пакет Debian mysql-server, то его нужно переустановить. Если проблемы остались, нужно проверить наличие библиотек mysql, утилит mysql и mysqldump и связаться со службой поддержки.

Исполнительный директор DreamHost принёс извинения всем клиентам компании за доставленные неудобства и пообещал в будущем все апдейты в дата-центре проводить вручную. Автоматическое обновление Debian уже отключено.



Оставить мнение