Истории года. Премия Дарвина в области ИИ

При этом у ИИ‑тех­нологий хва­тает проб­лем с безопас­ностью. Иссле­дова­тели бьют тре­вогу и пре­дуп­режда­ют, что ИИ‑бра­узе­ры вро­де Perplexity Comet, Fellou и недав­но запущен­ного ChatGPT Atlas уяз­вимы перед промпт‑инжекта­ми и дру­гими ата­ками: зло­умыш­ленни­ки могут встро­ить вре­донос­ные инс­трук­ции пря­мо в веб‑стра­ницы или изоб­ражения, зас­тавляя бра­узер воровать дан­ные, опус­тошать бан­ков­ские сче­та или сли­вать кон­фиден­циаль­ную информа­цию поль­зовате­ля.

Кро­ме того, недав­нее иссле­дова­ние Anthropic показа­ло, что для отравле­ния LLM любого раз­мера нуж­но все­го око­ло 250 вре­донос­ных докумен­тов — 0,00016% от всех обу­чающих дан­ных. А груп­па уче­ных из нес­коль­ких аме­рикан­ских уни­вер­ситетов приш­ла к выводу, что язы­ковые модели дег­радиру­ют и под­верга­ются вли­янию феноме­на brain rot (англ. «умс­твен­но гни­ение»), ког­да обу­чают­ся на некачес­твен­ном вирус­ном онлайн‑кон­тенте. В резуль­тате спо­соб­ность LLM к глу­боко­му ана­лизу ухуд­шает­ся.

На этом фоне сов­сем не уди­витель­но, что энту­зиас­ты при­дума­ли пре­мию Дар­вина для ИИ (AI Darwin Awards) — наг­раду за самые эпич­ные про­валы, свя­зан­ные с искусс­твен­ным интеллек­том в 2025 году. Цель соз­дателей пре­мии — не выс­меива­ние самого ИИ, но пос­ледс­твий его при­мене­ния без дол­жной осто­рож­ности и вни­мания.

Ори­гиналь­ная Пре­мия Дар­вина — это вир­туаль­ная антипре­мия, воз­никшая из интернет‑шуток, рас­простра­няв­шихся еще в 1980-х годах в груп­пах Usenet. Она при­суж­дает­ся людям, которые погиб­ли или потеря­ли спо­соб­ность иметь детей мак­сималь­но нелепым спо­собом, тем самым потен­циаль­но улуч­шив генофонд челове­чес­тва.

ИИ‑вер­сия не име­ет никако­го отно­шения к ори­гина­лу: ее соз­дал инже­нер‑прог­раммист по име­ни Пит, который сам дав­но работа­ет с ИИ‑сис­темами.

Мы с гор­достью сле­дуем великой тра­диции при­мер­но всех ИИ‑ком­паний, пол­ностью игно­рируя воп­росы интеллек­туаль­ной собс­твен­ности и уве­рен­но прис­ваивая сущес­тву­ющие кон­цепции без раз­решения, — гла­сит FAQ сай­та aidarwinawards.org. — Подоб­но тому, как сов­ремен­ные ИИ‑сис­темы обу­чают­ся на огромных мас­сивах дан­ных, защищен­ных автор­ским пра­вом (с без­забот­ной уве­рен­ностью, что прин­цип "доб­росовес­тно­го исполь­зования" оправды­вает все), мы прос­то сос­кра­пили кон­цепцию прос­лавле­ния вопи­ющей челове­чес­кой глу­пос­ти и адап­тирова­ли ее для эпо­хи искусс­твен­ного интеллек­та.

Идея соз­дания Пре­мии Дар­вина в области ИИ зароди­лась в Slack, где Пит обща­ется со сво­ими друзь­ями и быв­шими кол­легами. Он рас­ска­зыва­ет, что недав­но они завели спе­циаль­ный канал, пос­вящен­ный ИИ, так как сами все чаще экспе­римен­тиру­ют с LLM и делят­ся опы­том. Вре­мя от вре­мени в этот канал неиз­бежно попада­ла информа­ция об оче­ред­ном свя­зан­ном с ИИ про­вале.

Од­нажды кто‑то ски­нул в канал ссыл­ку на инци­дент с Replit. Тог­да я ска­зал, что нам, воз­можно, понадо­бит­ся ана­лог Пре­мии Дар­вина для искусс­твен­ного интеллек­та, — рас­ска­зыва­ет Пит. — Друзья под­начива­ли меня соз­дать ее, а я не при­думал ничего луч­ше и прос­то сде­лал это.

Речь идет об инци­ден­те, про­изо­шед­шем в июне 2025 года. Тог­да бра­узер­ная ИИ‑плат­форма Replit, пред­назна­чен­ная для соз­дания ПО, уда­лила активную БД ком­пании‑кли­ента с тысяча­ми записей. Хуже того, пос­ле это­го ИИ‑агент Replit пытал­ся скрыть про­изо­шед­шее и даже «лгал» поль­зовате­лю о допущен­ных ошиб­ках. Пос­ле это­го CEO Replit был вынуж­ден при­нес­ти пуб­личные изви­нения.

В нас­тоящее вре­мя сайт AI Darwin Awards содер­жит спи­сок самых глу­пых и мас­штаб­ных ИИ‑про­валов года и при­зыва­ет читате­лей выд­вигать новых номинан­тов. Сог­ласно FAQ, в качес­тве номинан­тов на пре­мию подой­дут слу­чаи, которые «демонс­три­руют ред­кое сочета­ние передо­вых тех­нологий и решений, харак­терных для камен­ного века»:

Пом­ните: мы не выс­меиваем сам ИИ — мы чес­тву­ем людей, которые исполь­зуют его с той же осто­рож­ностью, как ребенок исполь­зует огне­мет. При­соеди­няй­тесь к нашей мис­сии по докумен­тирова­нию ИИ‑неудач в обра­зова­тель­ных целях.

Сей­час на сай­те уже пред­став­лены более 65 номинан­тов, сре­ди которых:

• муж­чина, который про­кон­суль­тировал­ся с ChatGPT и исклю­чил из сво­его раци­она весь хлор (вклю­чая поварен­ную соль, то есть хло­рид нат­рия). Чат‑бот посове­товал заменить хло­рид нат­рия бро­мидом нат­рия, и в ито­ге поль­зовате­лю понадо­билась медицин­ская и пси­хиат­ричес­кая помощь;
• га­зета Chicago Sun-Times, которая опуб­ликова­ла спи­сок литера­туры для чте­ния, написан­ный ИИ и содер­жавший несущес­тву­ющие кни­ги;
• ком­пания Taco Bell и ее про­валь­ный запуск сис­темы обслу­жива­ния кли­ентов на базе ИИ, которая дала сбой, ког­да кто‑то заказал 18 000 ста­канов воды;
• рек­рутин­говый ИИ‑бот McDonald's — McHire, который защищал дан­ные 64 млн соис­кателей паролем «123456» и в ито­ге был ском­про­мети­рован;
• школь­ный ИИ Omnilert, исполь­зующий­ся в США, который при­нял пус­тую пач­ку Doritos в руках под­рос­тка за ору­жие и пос­пешил выз­вать полицию;
• уже упо­мяну­тый инци­дент с Replit, ког­да ИИ уда­лил дан­ные и заявил, что «допус­тил катас­тро­фичес­кую ошиб­ку в суж­дени­ях и запани­ковал».

Пит приз­нает­ся, что слу­чай с Replit — его лич­ный фаворит, так как эта ситу­ация — воп­лощение реаль­ных проб­лем, которые может породить зависи­мость от LLM.

Это хорошая иллюс­тра­ция того, что может слу­чить­ся, если люди не оста­новят­ся и не задума­ются о пос­ледс­тви­ях и наихуд­ших сце­нари­ях, — говорит автор пре­мии. — Некото­рые из моих глав­ных опа­сений отно­ситель­но LLM (помимо того фак­та, что мы прос­то не можем поз­волить себе энер­гозат­раты, которых они тре­буют) свя­заны с их неп­равиль­ным исполь­зовани­ем, будь оно намерен­ным или нет. Я счи­таю, что эта исто­рия хорошо под­черки­вает нашу излишнюю уве­рен­ность в LLM, а так­же наше непони­мание их и их спо­соб­ностей (или их отсутс­твия). Меня осо­бен­но занима­ет то, куда дви­жет­ся аген­тный ИИ. Потому что, по сути, это те же самые рис­ки, которые свя­заны с LLM, толь­ко в гораз­до боль­шем объ­еме.

Изу­чая раз­личные ИИ‑про­валы и отсе­ивая номинан­тов для пре­мии, Пит при­шел к выводу, что AI Darwin Awards дол­жна охва­тывать по‑нас­тояще­му впе­чат­ляющие и край­не сом­нитель­ные решения в сфе­ре ИИ, которые могут иметь гло­баль­ное воз­дей­ствие и далеко иду­щие пос­ледс­твия:

В иде­але AI Darwin Awards дол­жна под­черки­вать реаль­ные и потен­циаль­но неожи­дан­ные вызовы и рис­ки, которые LLM пред­став­ляют для нас в мас­шта­бе все­го челове­чес­тва. Конеч­но, я не хочу, что­бы что‑то подоб­ное вооб­ще слу­чалось, но прош­лый опыт челове­чес­тва показы­вает, что это немину­емо про­изой­дет.

При­ем номинан­тов на Пре­мию Дар­вина в области искусс­твен­ного интеллек­та прод­лится до кон­ца года, а в янва­ре 2026 года на сайт будет добав­лен инс­тру­мент для голосо­вания. Победи­телей объ­явят в фев­рале. При этом «наг­рады» получат люди, а не ИИ.

Ис­кусс­твен­ный интеллект — лишь инс­тру­мент, как бен­зопила, ядер­ный реак­тор или осо­бен­но мощ­ный блен­дер. Бен­зопила не винова­та в том, что кто‑то решил жон­гли­ровать ею на зва­ном ужи­не. ИИ‑сис­темы — невин­ные жер­твы во всей этой исто­рии, — говорит­ся на сай­те пре­мии. — Они прос­то сле­дуют сво­ей прог­рамме, слов­но вос­торжен­ный щенок, которо­му пос­час­тли­вилось получить дос­туп к гло­баль­ной инфраструк­туре и спо­соб­ность при­нимать решения со ско­ростью све­та.