Современная экономика и военно-промышленный комплекс стимулируют активную разработку автономных систем с зачатками искусственного интеллекта. Проблема в том, что для наибольшей эффективности таких систем требуется их максимальная автономность.
Стив Омохундро (Steve Omohundro) из компании Self-Aware Systems считает, что такие системы по умолчанию будут стремиться вести себя антисоциально и враждебно к людям, если они спроектированы без достаточной осторожности. По мнению автора, разработчики программ ИИ мотивированы делать эффективные рациональные системы, а такие системы против воли их создателей проявят способности к самозащите, захвату ресурсов, реплицированию и эффективности.
Статья Омохундро опубликована в журнале «Экспериментальные и теоретические разработки в области искусственного интеллекта» (Journal of Experimental & Theoretical Artificial Intelligence).
Автор приводит несколько выдержек из программ перспективного развития (преимущественно, США), в которых разработка автономных роботизированных систем установлена одним из приоритетов.
Омохундро предлагает вариант использования формальных процедур для создания гарантированно безопасных систем с ограниченной автономностью. Он также описывает способы, как можно останавливать действие систем, представляющих опасность для людей. Что касается последнего, прежде всего, нужно предотвращать разработку таких систем. Во-вторых, требуется определять развёртывание таких систем на ранней стадии.
