Claude добрался до научной работы: Anthropic проверила его на реальных задачах биоинформатики

Anthropic представила BioMysteryBench — новый бенчмарк для проверки Claude в роли научного агента по биоинформатике. Это не экзамен на знание биологии и не набор задач с вариантами ответа. Модель помещают в рабочую среду с биоинформатическими инструментами, возможностью ставить пакеты через pip и conda, доступом к базам вроде NCBI и Ensembl — и просят разобраться с реальными данными.

Результат важен не столько как очередная гонка бенчмарков, сколько как ранний снимок будущей научной работы. Anthropic показывает: современные модели уже могут не просто пересказывать статьи или писать код для анализа, а местами действовать как исследовательский помощник — выбирать стратегию, проверять гипотезы и находить ответ там, где один стандартный путь не сработал.

Что именно проверяет BioMysteryBench

В BioMysteryBench вошли 99 вопросов из разных областей биоинформатики. Задачи основаны на сырых или минимально обработанных данных: whole genome sequencing, single-cell RNA-seq, ChIP-seq, метагеномика, Hi-C, протеомика, метаболомика и другие типы анализа, с которых часто начинается реальная биологическая работа.

Примеры звучат как обычные исследовательские вопросы: из какого органа получен набор single-cell RNA-seq, какой ген был выключен в экспериментальной группе, кто является родителями образца по данным полного генома, какие bigWig-файлы относятся к ChIP-образцам, а какие — к контролям.

Ключевая деталь: ответы должны быть объективно проверяемыми. Anthropic специально уходит от задач, где результат зависит от вкуса конкретного учёного или спорной интерпретации статьи. Ответ может быть привязан к контролируемому свойству данных, клинической метке или независимой проверке вроде PCR-анализа. Это делает тест ближе к реальной науке, но не превращает его в «угадай мнение автора».

Где Claude сравнялся с людьми — и где обошёл их

Anthropic попросила до пяти профильных экспертов решать каждую задачу с нуля. Если хотя бы один эксперт находил правильный ответ, вопрос считался human-solvable. Таких задач оказалось 76. На этом наборе Claude Sonnet 4.6 и более сильные модели, по оценке Anthropic, выступали на уровне обученных биоинформатиков.

Оставшиеся вопросы оказались интереснее. После проверки качества Anthropic выделила 23 задачи, которые не смогла решить экспертная группа, но где сигнал в данных всё же был подтверждён. На этом наборе Claude Sonnet 4.6 и более новые модели решили заметную часть задач, а Claude Mythos Preview, ещё не выпущенная frontier-модель Anthropic, дошла примерно до 30%.

Эту цифру легко перегреть до заголовка «ИИ умнее учёных», но это неверная рамка. Речь не о том, что модель стала универсальным биологом. Скорее она иногда выигрывает за счёт другой комбинации преимуществ: огромной памяти по литературе и базам знаний, готовности быстро пробовать несколько аналитических маршрутов и способности сопоставлять слабые сигналы из разных источников.

Почему это важнее обычного бенчмарка

В биологии трудно построить тест уровня SWE-bench для программирования: один и тот же научный вопрос можно решать разными методами, данные часто шумные, а часть действительно ценных вопросов пока не умеют решать сами люди. BioMysteryBench пытается обойти эту проблему: Claude оценивают по финальному ответу, а не по тому, совпал ли его путь с человеческим.

Это важный сдвиг для AI-for-science. До сих пор многие научные бенчмарки проверяли знание, рассуждение или работу с уже подготовленными материалами. Здесь модель должна приблизиться к рабочему циклу исследователя: понять задачу, выбрать инструменты, скачать нужные референсы, запустить анализ и свести доказательства в один ответ.

Anthropic также отмечает, что Claude иногда решал задачи иначе, чем люди. Эксперты чаще шли через привычные алгоритмы и базы данных, а модель могла распознавать структурные или последовательностные паттерны напрямую. Это не магия и не доказательство «научной интуиции» в человеческом смысле, но полезный сигнал: LLM-агенты могут находить нетипичные маршруты анализа, которые стоит проверять, а не автоматически отвергать.

Самая важная оговорка — надёжность

Сильная часть публикации Anthropic в том, что она не продаёт результат как безусловную победу. На обычных human-solvable задачах Claude Opus 4.6 часто вёл себя устойчиво: если решал проблему, то обычно решал её снова в нескольких попытках. На human-difficult наборе картина хуже: часть правильных ответов появляется только в одной-двух попытках из пяти.

Иными словами, на границе возможностей модель иногда не столько имеет воспроизводимый метод, сколько находит удачную траекторию рассуждения. Для научной работы это критично. Исследовательский агент ценен не только тем, что однажды попал в правильный ответ, а тем, что его вывод можно повторить, проверить и встроить в нормальный процесс валидации.

Поэтому практический вывод трезвый: Claude уже выглядит полезным помощником для биоинформатиков, особенно там, где нужно быстро перебрать методы, собрать знания из литературы и проверить несколько линий доказательств. Но на сложных нерешённых задачах ему всё ещё нужен человеческий контроль, повторные запуски, строгая проверка и независимая валидация.

Мнение редакции Neuro.ee. BioMysteryBench интересен не рекордом в 30%, а тем, что показывает новый формат конкуренции в AI-for-science. Следующий рубеж — не чат-бот, который знает биологию, а агент, который умеет работать с данными, инструментами и неопределённостью. Если такие системы станут надёжнее, они не заменят научный метод, но могут резко расширить его пропускную способность: больше гипотез, больше проверок, больше неожиданных маршрутов к ответу. Именно здесь AI начинает быть не витриной, а частью исследовательской инфраструктуры.