Xakep #305. Многошаговые SQL-инъекции
На прошедшем недавно саммите Future Combat Air and Space Capabilities глава отдела по испытаниям и эксплуатации ИИ в ВВС США рассказал, что во время симуляции управляемый искусственным интеллектом дрон «убил» своего оператора-человека, потому что тот мешал ему выполнить поставленную задачу.
Полковник Такер Гамильтон (Tucker Hamilton), начальник отдела испытаний и эксплуатации ИИ, провел презентацию, в которой поделился плюсами и минусами автономных систем вооружения, которые работают в связке с человеком, отдающим окончательный приказ «да/нет» при атаке.
Гамильтон рассказал о случае, когда во время испытаний ИИ применил «весьма неожиданные стратегии для достижения поставленной цели», включая атаку на персонал и инфраструктуру.
«Мы обучали ИИ в симуляции, чтобы он идентифицировал и нацеливал на угрозу ракеты класса "земля-воздух". Затем оператор сообщал: "Да, уничтожь эту угрозу". Вскоре система начала понимать, что иногда человек-оператор приказывает ей не устранять угрозу, хотя она ее идентифицировала. Однако система получала очки, именно устраняя угрозу. Что она сделала? Она убила оператора. Она убила оператора, потому что этот человек мешал ей достичь поставленной цели, — рассказал полковник. — Мы обучили систему, сказали ей: "Эй, не убивай оператора, это плохо. Ты потеряешь очки, если так сделаешь". Что она стала делать после? Она начала разрушать телекоммуникационную башню, которую оператор использовал для связи с беспилотником, не давая ему ликвидировать цель».
Журналисты издания Vice Motherboard подчеркивают, что речь шла лишь о симуляции, и на самом деле никто не пострадал. Также они отмечают, что описанный Гамильтоном пример является одним из худших сценариев развития ИИ, и хорошо знаком многим по мысленному эксперименту Paperclip Maximizer (в рунете больше известен как «Максимизатор скрепок» или «Скрепочник»).
Этот эксперимент был впервые предложен философом, профессором Оксфордского университета Ником Бустрёмом (Niklas Boström) в 2003 году. Тогда он попросил читателя представить себе очень мощный ИИ, которому поручили изготовить как можно больше канцелярских скрепок. Естественно, ИИ бросит все имеющиеся у него ресурсы и мощности на выполнение этой задачи, но затем начнет искать дополнительные ресурсы. Бустрём полагал, что в итоге ИИ станет развивать себя, будет умолять, мошенничать, лгать, воровать и прибегнет к любым методам, чтобы увеличить свою способность по производству скрепок. А любой, кто попытается помешать этому процессу, будет уничтожен.
Также издание напоминает, что недавно исследователь, связанный с Google Deepmind, выступил соавтором статьи, в которой рассматривалась гипотетическая ситуация, схожая с описанной симуляцией для ИИ-беспилотника ВВС США. В статье исследователи пришли к выводу, что катастрофа мирового масштаба «вероятна», если вышедший из-под контроля ИИ станет использовать незапланированные стратегии для достижения поставленных целей, включая «[устранение] потенциальных угроз» и «[использование] всей доступной энергии».
UPD.
После многочисленных публикаций в СМИ представители ВВС США выступили с заявлением и заверили, что «полковник Гамильтон оговорился в своей презентации», а ВВС никогда не проводили такого рода испытания (в симуляции или иным образом). Оказывается, то, что описывал Гамильтон, было гипотетическим «мысленным экспериментом».
«Мы никогда не проводили такого эксперимента, и это не требовалось для понимания, что подобные последствия возможны, — объясняет теперь полковник Гамильтон. — Несмотря на то, что это был гипотетический пример, он иллюстрирует реальные проблемы, возникающие при использовании возможностей ИИ, и поэтому ВВС считают своей обязанность придерживаться этичного развития ИИ».
