ИИ-помощники стали полезнее, но хуже изображают людей

Полезный ассистент не равен цифровому человеку

Большие языковые модели все чаще используют не только как помощников, но и как замену людям в тестах: ими пытаются имитировать фокус-группы, реакции пользователей, учебные сценарии, политические опросы и поведенческие эксперименты. Новое исследование «Post-training makes large language models less human-like» на arXiv бьет как раз по этому удобному предположению.

Команда исследователей представила Psych-201 — набор данных из поведенческих экспериментов примерно с 208 тысячами участников и 26 миллионами отдельных ответов. На нем проверяли, насколько хорошо разные языковые модели предсказывают реальные ответы людей. Результат получился неудобным для рынка синтетических респондентов: базовые модели, обученные в основном предсказывать следующий токен, чаще оказывались ближе к людям, чем версии, превращенные в полезных ассистентов.

Речь не о том, что ChatGPT-подобные системы стали «хуже» вообще. Post-training нужен именно для того, чтобы модель отвечала полезнее, безопаснее, послушнее и понятнее. Но эта же настройка меняет цель: модель уже не просто продолжает человеческий текст, а старается дать предпочтительный, правильный или нормативный ответ. В поведенческих задачах это может быть проблемой, потому что реальные люди часто отвечают непоследовательно, иррационально, неидеально и с поправкой на контекст.

Где появился разрыв

Авторы сравнивали семейства Qwen, Llama и OLMo, включая базовые модели и варианты после инструкционного обучения, reasoning-настройки и других стадий дообучения. По данным исследования, post-training стабильно снижал совпадение с человеческим поведением в разных семействах, размерах и целях настройки моделей. The Decoder отдельно отмечает, что эффект сильнее всего проявлялся у reasoning-моделей, затем у инструкционных и мультимодальных версий.

Исследователи проверяли и простое объяснение: может быть, ассистенты просто отвечают слишком детерминированно и поэтому хуже передают разброс человеческих реакций. Но анализ задач с дискретными вариантами ответа не подтвердил, что дело только в этом. Проблема глубже: полезный ассистент учится быть хорошим собеседником и решателем задач, а не статистической копией человеческого участника эксперимента.

Еще один важный результат касается «персон»: популярный прием, когда модели дают возраст, страну, привычки или другие характеристики воображаемого человека, не улучшил предсказания на уровне отдельных участников. Это неприятная новость для сценариев, где компании просят модель «сыграть 35-летнего покупателя из Германии» и затем принимают продуктовые решения по такой симуляции.

Что это меняет для практики

Для бизнеса вывод простой: синтетические пользователи могут быть полезным черновым инструментом, но не заменяют реальных людей без валидации. Если команда тестирует интерфейс, рекламу, образовательный продукт или политическое сообщение только на ассистенте, она рискует получить не человеческую реакцию, а аккуратный, социально желательный ответ модели.

Для исследователей вывод тоньше. Базовые модели могут лучше отражать статистику человеческого языка и поведения, но они тоже не являются людьми. Их преимущество в этом исследовании не означает, что можно автоматически заменить выборку моделью. Скорее оно показывает, что разные стадии обучения меняют не только качество ответа, но и то, какого «человека» модель вообще пытается изображать.

Это важная поправка к нынешнему энтузиазму вокруг AI-фокус-групп. Чем лучше ассистент помогает нам писать, спорить и решать задачи, тем меньше оснований считать его нейтральной копией обычного пользователя. В эпоху, где компании хотят ускорять исследования с помощью ИИ, это не запрет на синтетические тесты, а предупреждение: сначала проверьте, что именно модель имитирует.