ИИ обошёл профессоров права в ответах студентам

Профессора права в США чаще предпочитали ответы ИИ ответам коллег, когда не знали, кто их написал. В новом исследовании Stanford Law School 16 преподавателей договорного права подготовили вопросы, написали собственные ответы, а затем оценили 2 918 анонимных сравнений между человеческими и машинными вариантами. Средний win rate ИИ составил 75,33%.

Для новости об искусственном интеллекте это важнее очередного теста на математику или программирование. Юридическое образование держится не только на фактах: студент спрашивает о спорной ситуации, преподаватель взвешивает аргументы, объясняет неопределённость и показывает, как прийти к защищаемому выводу. Именно поэтому авторы выбрали договорное право и вопросы формата office hours, а не задачи с готовым ключом.

Что проверяли

Участники исследования представляли 16 юридических школ США. Они сами сформулировали 40 типичных вопросов студентов по курсу контрактного права и написали ответы, которые дали бы в учебной ситуации. Затем эти ответы сравнивались с ответами крупных языковых моделей и специализированных AI-инструментов для обучения. Оценщики не знали, где текст преподавателя, а где текст модели.

Результат оказался неприятно конкретным для старой дискуссии «ИИ просто пересказывает интернет». Профессора выбирали машинный ответ примерно три раза из четырёх. Более того, ответы ИИ реже считались педагогически вредными или вводящими в заблуждение: 3,53% против 12,06% у ответов профессоров. Это не значит, что люди писали плохо. Скорее, модель оказалась сильна в коротком, аккуратном объяснении, где надо удержать структуру, оговорки и понятный вывод.

Почему это задевает не только юристов

До сих пор многие оценки AI-репетиторов упирались в области с однозначной истиной: правильно ли решена задача, найден ли факт, совпал ли ответ с эталоном. Исследование Stanford Law интересно тем, что проверяет другую категорию работы — профессиональное суждение в условиях неоднозначности. В этой зоне обычно и защищают человеческую экспертизу: хороший специалист не просто знает ответ, а объясняет, почему один аргумент сильнее другого.

Если модели уже конкурентны в таком формате, спор об образовании меняется. Вопрос становится не «может ли ИИ ответить студенту», а «когда его ответ достаточно хорош, кто отвечает за ошибку и как встроить его так, чтобы студент думал, а не просто получал гладкую формулировку». Для университетов, онлайн-курсов, корпоративного обучения и профессиональных экзаменов это практический вызов: дешёвый персональный помощник может резко увеличить доступ к объяснениям, но одновременно сделать зависимость от готовых ответов почти невидимой.

Где остаётся граница

Авторы исследования отдельно подчёркивают, что не призывают к массовой замене преподавателей AI-репетиторами. Они проверяли качество коротких ответов, а не весь учебный процесс: мотивацию, обратную связь, оценку прогресса, этику, академическую честность и умение заметить, что студент вообще неправильно понял вопрос.

Но и прежняя позиция «модели слишком ненадёжны для сложных дисциплин» стала слабее. Более точный вывод звучит жёстче: в некоторых профессиональных задачах ИИ уже может давать объяснения, которые эксперты предпочитают ответам других экспертов. Теперь учебным заведениям придётся не запрещать это по инерции, а решать, где модель полезна как наставник, где нужна проверка человека и какие навыки студент должен сохранять за собой.