Сводная группа исследователей из Вашингтонского университета, Мичиганского университета, Университета штата Нью-Йорк в Стоуни-Бруке, а также Калифорнийского университета в Беркли опубликовала интересный доклад, в котором описала физические атаки на системы машинного обучения, использующиеся в беспилотных автомобилях, дронах и других подобных устройствах.

Не секрет, что машины далеко не всегда интерпретируют изображения верно, и порой достаточно самых незначительных изменений, внесенных в картинку, чтобы система «увидела» нечто иное. Объединенная группа из восьми специалистов решила на практике изучить, легко ли будет обмануть таким способом современные беспилотные автомобили. Ведь в теории атакующий может заставить машину «увидеть» неверный дорожный знак и, как следствие, принять неверное решение, в итоге подвергнув опасности жизни пассажиров.

Исследователи разделили атаки на два типа. В первом случае дорожный знак полностью заклеивали наскоро распечатанным постером. Хотя человеческий глаз заметит подобную подмену без труда, машине сделать это будет куда сложнее. Во втором случае специалисты приклеивали на знаки небольшие стикеры. Водитель-человек, скорее всего, даже не придаст такому «искажению» значения (хулиганы регулярно портят дорожные знаки), тогда как машина в результате может интерпретировать знак совершенно иначе.

Исследователи добавили фото измененных дорожных знаков в соответствующих форматах в систему LISA, которая используется для обучения глубоких нейронных сетей и приступили к опытам.

Результаты тестов демонстрируют весьма пугающий результат. К примеру, если знак «Движение без остановки запрещено» испорчен словами love и hate (см. изображение выше), машина в 100% случаев интерпретирует его как знак, ограничивающий максимальную скорость 45 км/ч. Якобы испорченный граффити знак (второй и третий слева на изображении выше) приводит к тому же результату в 67% случаев. Знак, заклеенный постером (крайний справа на изображении выше), также обманывает «умный» автомобиль, заставляя его «увидеть» стоп-сигнал в 66,77% ситуаций, и знак съезда на дополнительную полосу в 33,7% ситуаций.

В таблицах ниже приведены детальные результаты тестов для каждого знака, с разного расстояния и под разными углами «обзора».

SL45 = Speed Limit 45, STP = Stop, YLD = Yield, ADL = Added Lane, SA = Signal Ahead, LE = Lane Ends.

Фото: Depositphotos



5 комментариев

  1. Il

    08.08.2017 at 19:51

    Очень странно, что машинное обучение не реагирует на форму знака. Ведь ограничение скорости другой формы, да и оранжевый знак поворота отличается

  2. Gen

    09.08.2017 at 07:54

    Согласен с предыдущим комментом форма особенность знака. Еще и цвет разный. Поэтому надо как следует доработать систему распознавания.

    • GDirak

      09.08.2017 at 08:47

      Или создать какую-нибудь «универсальную цифровую карту дорожных знаков и разметки», куда в обязательном порядке ГИБДД должно заносить все установленные знаки и разметки. А бортовой компьютер будет соотносить данные карты с реальностью…

  3. pancho

    09.08.2017 at 23:57

    Такая сейчас в любом навигаторе есть…
    Автопилот едет по навигатору:)

    Если серьезно, то главное что дефейс разметки не ставил авто в тупик

Оставить мнение