В ноябре 2011 года антивирус Microsoft Security Essentials провалил результаты тестирования AV-Test и был лишён сертификата AV-Test. Полтора месяца ушло у специалистов Microsoft, чтобы разобраться в результатах провала. Но они сделали это — и подали официальный протест.
Подробные результаты тестирования Microsoft Security Essentials показали, что он хуже всего проявил себя при защите против 0-day атак, угроз в вебе и вредоносных вложений в электронной почте. Это тест против актуальных угроз (Real World Tesing), самый главный среди всех тестов. При проверке на 102 свежих образцах антивирусы в среднем отлавливали 89%, в то время как Microsoft Security Essentials обнаружил всего 69% в сентябре и 64% в октябре — меньше всех. Таким образом, Microsoft Security Essentials получил нулевую оценку в тесте против актуальных угроз, что негативно сказалось на итоговом результате.
Специалисты Microsoft проверили выборку, на которой осуществлялось тестирование. Они говорят, что антивирус пропустил всего 28 атак 0-day. В то же время проверка на базе пользователей Microsoft показало, что с упомянутыми атаки реально сталкивались всего лишь 0,0033% пользователей Microsoft Security Essentials. Другими словами, «тест против актуальных угроз» AV-Test — совсем не реалистичный тест, ибо в реальной жизни пользователи сталкиваются совершенно с другими угрозами. «Мы продолжаем оценивать и изучать способы улучшения наших процессов. Благодаря отзывам клиентов мы знаем, что промышленное тестирование представляет ценность для них, и их тесты помогут нам улучшить продукт. Мы стремимся к сокращению нашей 0,0033% маржи до нуля», — добавили разработчики Microsoft Security Essentials.
