Киберкриминалисты и ИБ-эксперты выступили на конференции DEF CON и рассказали о несовершенстве ПО, которые используют в своей работе правоохранительные органы и суды.
О проблемах ПО, которое используется для поимки преступников, их привлечения к ответственности и вынесения приговоров, поведали киберкриминалист и член Legal Aid Society Джером Греко (Jerome Greco), профессор Университета Кларксона доктор Джеанна Метьюс (Dr Jeanna Matthews) и инженер Forensic Bioinformatic Services Натан Адам (Nathan Adams). Исследователи рассказали, что код такого ПО зачастую не проходит никаких проверок, он недоступен стороне защиты, а инструменты в некоторых случаях могут демонстрировать предвзятость.
В качестве примера эксперты приводят систему COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), которую используют судьи первой инстанции, когда работают над вынесением приговоров и определяют условия условно-досрочного освобождения.
«Компания, разрабатывающая COMPAS, считает пол одним из важных факторов, влияющих на процесс принятия решений. Так, мужчины гораздо чаще становятся рецидивистами, а значит, их с меньшей вероятностью порекомендуют для освобождения на поруки, — рассказывает Греко. — Таким образом, женщины чаще выходят на поруки, а мужчины чаще получают более долгие сроки. Мы не знаем, как именно влияют эти данные и насколько важен пол. Компания прикрывается законами о коммерческой тайне, чтобы скрыть свой код от любых проверок».
Исследователи добавляют, что такие системы зачастую «тренируют» на базе наборов данных, содержащих систематические погрешности. К примеру, системы распознавания лиц «обучают» в основном на примерах белых людей и те малоэффективны при работе с людьми с другим цветом кожи.
Греко говорит, что системы предиктивной охраны правопорядка, которые помогают полиции выбирать зоны для патрулирования, так же неидеальны. Эксперт утверждает, что такие системы зачастую являются откровенно расистскими и позволяют полиции оправдывать свои действия тем, что «решение принял компьютер».
При этом свои продукты стремятся защитить от любых проверок не только сами производители, но и правоохранительные органы. Хорошим примером является использование IMSI-перехватчиков или Stingray, о которых мы не раз рассказывали подробно. Напомню, что такие устройства широко применяются как спецслужбами, так и «плохими парнями». Они используют конструктивную особенность мобильников — отдавать предпочтение той сотовой вышке, чей сигнал наиболее сильный (чтобы максимизировать качество сигнала и минимизировать собственное энергопотребление).
Как показывает практика, правоохранители предпочитают замалчивать использование подобных систем, но только между 2008 и 2015 годами полицейский департамент Нью-Йорка использовал такие устройства более 1000 раз.
Доктор Джеанна Метьюс утверждает, что многие подобные системы остро нуждаются в отлове багов и улучшении:
«Независимое стороннее тестирование – это большое преимущество, нужны команды, которые будут побуждать [производителей] к обнаружению проблем, а не люди, которые убедительно заявляют, что все хорошо».
