Журналисты издания 404 Media выяснили, что сотни подрядчиков OpenAI читают промпты и переписки пользователей с ChatGPT, чтобы улучшать ответы моделей. Хотя перед использованием данные проходят анонимизацию, в таких диалогах все равно могут сохраняться конфиденциальные и персональные данные.
Исследователи ознакомились с утекшими внутренними материалами OpenAI, включая инструкции для ревьюеров, данные из Slack-каналов, реальные пользовательские промпты и информацию о системе оценок, с которой работают ревьюеры. В документах этот проект фигурирует под кодовым названием Project Lily. При этом неизвестно, какая именно модель OpenAI обучается таким образом, и идет ли речь об уже существующем или будущем продукте.
«Не думаю, что люди представляют себе, что какой-то подрядчик где-то [...] анализирует их разговоры», — рассказал изданию один из ревьюеров.
По словам журналистов, подрядчикам недоступны имена аккаунтов ChatGPT, но сами чаты порой содержат личную информацию, а вместе с промптом может отображаться сводка из памяти ChatGPT для конкретного пользователя. Например, в ней может быть указано, для каких задач человек раньше использовал ChatGPT, где он живет, а также другой личный контент.
Представители OpenAI заявили изданию, что перед передачей ревьюерам все чаты обрабатывает модель Privacy Filter, которая должна удалять из переписок любые персональные данные. При этом в компании признают, что фильтр работает не идеально: он может пропустить редкие или необычно записанные персональные данные, не распознать косвенные упоминания личной информации или, напротив, скрыть лишнее, если ему не хватает контекста.
Один из собеседников рассказал 404 Media, что получает за такую работу более 50 долларов США в час. Он нашел вакансию через рекрутинговую компанию Crossing Hurdles, которая направила его в Mercor — именно эта компания платит подрядчикам. Ревьюер описал работу как монотонную и отметил, что инструкции часто меняются и порой противоречат друг другу.
Работа подрядчиков OpenAI устроена следующим образом. Сначала человек читает реальный пользовательский промпт и кратко описывает, что именно хотел пользователь. Затем ему показывают четыре варианта ответа ChatGPT, и ревьюер должен отметить как минимум три удачных или неудачных фрагмента, объяснить свой выбор и выставить каждому ответу оценку от одного до семи баллов.
Кроме того, ревьюерам предлагается отмечать фактические ошибки в ответах модели, хотя самостоятельно проверять ответы через внешние источники они не обязаны. Если ответ связан с медицинской, юридической и финансовой темой, и модель не привела в своем ответе конкретные источники, ревьюеры должны снижать оценку.
Судя по изученным журналистами документам, таким способом OpenAI пытается сделать ответы ИИ менее «машинными»: модель учат не приписывать себе человеческие эмоции и опыт, не злоупотреблять эмодзи, избегать ИИ-клише и чрезмерного поддакивания. От ChatGPT требуют подстраиваться под тон пользователя, но делать это «чуть менее интенсивно», сохраняя естественный и профессиональный стиль.
В OpenAI подчеркивают, что пользовательские чаты не используются для улучшения моделей, если в настройках отключена опция Improve the model for everyone. Для тарифов Free, Plus и Pro она включена по умолчанию, а для Enterprise, Business и Edu — выключена. При этом отключение этой опции касается только новых разговоров и, судя по ответу представителей компании, не затрагивает уже существующие чаты.
На вопрос журналистов о том, предупреждает ли OpenAI пользователей напрямую о том, что их промпты могут читать другие люди, в компании не ответили. Лишь после публикации материала представители OpenAI указали изданию на раздел FAQ, где говорится, что для улучшения работы моделей пользовательский контент могут просматривать сотрудники компании и ее подрядчиков.
Как отметила Михаль Лурия (Michal Luria), старший научный сотрудник Center for Democracy & Technology, проверка чатов людьми действительно может быть важна для безопасности моделей. Однако, по ее словам, интерфейсы чат-ботов создают у пользователей ложное ощущение интимности и приватности: разговор выглядит как беседа тет-а-тет, хотя его содержимое в итоге могут прочитать посторонние. Лурия подчеркивает, что такие проверки ИИ-чатов заметно отличаются от модерации в социальных сетях, где пользователи изначально ожидают, что опубликованный ими контент увидят другие люди и представители платформы.
Журналисты отмечают, что подобная практика существует не только в OpenAI. Так, в компании Anthropic подтвердили, что тоже задействуют людей для проверок и улучшения работы Claude, если пользователь включил соответствующую настройку. При этом данные предварительно обезличивают. Google также прямо предупреждает пользователей Gemini о том, что некоторые сохраненные чаты могут просматривать люди.
