Транскрипты ChatGPT читают люди для улучшения ответов
Добро пожаловать в новую реальность.
AI-компании не могут похвастаться безупречной репутацией в вопросах авторских прав или приватности пользователей — если только сами не оказываются пострадавшей стороной. При этом давно известно, что чат-логи с таких платформ, как ChatGPT, используются для улучшения моделей. Однако механизм этого процесса оставался загадкой — до сегодняшнего дня. 404 Media опубликовала отчёт о процессе ручной проверки чатов в OpenAI, раскрыв, как устроена эта система и как живые люди иногда читают личную информацию.
Название проекта оценки в OpenAI — Project Lilly. Издание получило доступ к инструкциям проекта, каналам в Slack, реальным диалогам ChatGPT и, конечно, к системе классификации разговоров. Операторов называют «prompt reviewers», и их задача довольно проста: просматривать анонимизированные реальные чаты и оценивать качество ответов ChatGPT — отвечают ли они на вопрос, не злоупотребляют ли «AI-речью», покровительственным тоном, эмодзи или сикофантией, среди прочих параметров. Антропоморфизация и заявления о «личном опыте» запрещены: ChatGPT может сказать «Я нашёл информацию», но не «Как шеф-повар, я люблю...» или «Я знаю, каково это».
Работа «очень рутинная», по словам одного из рецензентов, но при ставке свыше $50 в час это высокая оплата за довольно простые задачи. Тот же рецензент отметил, что гайдлайны постоянно меняются и часто противоречат друг другу — чувство, знакомое большинству разработчиков.
По мнению собеседника издания, большинство пользователей не подозревают, что их чаты читают другие люди. Это особенно тревожно, учитывая, что многие используют ChatGPT как импровизированного друга или терапевта, доверяя боту глубоко личные тайны.
Хотя чаты якобы проходят анонимизацию и рецензенты не видят имён пользователей, OpenAI признала в разговоре с 404 Media, что фильтрация может пропускать некоторые персональные данные, особенно в коротких диалогах. Издание отмечает, что во многих разговорах пользователи просят ChatGPT сохранить содержимое в секрете. Версия чата, передаваемая рецензентам, также allegedly включает «user memories summary» — сводку вопросов и интересов пользователя, контекст и потенциально даже локацию.
Принципиально важно: Project Lilly не оценивает фактическую точность чатов, кроме очевидных ошибок. Это означает, что, вероятно, существует как минимум ещё одна команда (или несколько), проводящая отдельные оценки. Также эта проверка отделена от ручных проверок безопасности, определяющих, не пытается ли кто-то навредить другим (или, предположительно, себе).
Существование проекта также указывает на то, что вопреки имиджу, который пытаются культивировать AI-компании, модели улучшаются не только благодаря технологическому прогрессу и лучшим тренировочным наборам — по-видимому, всё ещё нужны компетентные люди в процессе.
К этому моменту вы можете задуматься о настройке «разрешить использовать ваши чаты для улучшения продукта» (перефразировано), присутствующей в большинстве потребительских чат-ботов. Эта опция включена по умолчанию в каждом боте, о котором можно подумать, даже в многих платных тарифах. В случае ChatGPT она по умолчанию отключена для Enterprise, Business и Educational клиентов.
Однако этот переключатель не работает задним числом: любые чаты, уже находящиеся в базе ChatGPT, останутся там, если пользователь не запросит удаление. Причём удаление тоже не retroactive — удалённые чаты могли уже быть собраны и анонимизированы, и, возможно, хранятся в каком-то датасете.
Хотя изначально OpenAI не ответила на запрос 404 Media о том, были ли пользователи явно проинформированы о возможности чтения их чатов людьми, компания в итоге предоставила ссылку на одну из своих FAQ-страниц, где обсуждается ручная проверка для улучшения моделей. Мы сами убедились, что это уведомление существует как минимум два года, а вероятно — дольше. После публикации разоблачения компания изменила страницу помощи, объясняющую, как отказаться от сбора данных, но упоминания человеческих операторов в этом тексте нет.
Этот тип сбора и проверки данных — сквозная тема у большинства провайдеров. Google Gemini прямо заявляет, что «люди могут просматривать некоторые сохранённые чаты» в своём Privacy Hub. Позиция Anthropic аналогична — есть отдельная страница по этой теме. Позиция Perplexity, тем временем, неясна: её Privacy Notice не подтверждает и не отрицает доступ людей к чат-логам.