Параметры закрытых моделей попытались измерить по редким фактам — GPT-5.5 оценили в 9,7 трлн

Китайский исследователь Боцзе Ли из Pine AI предложил способ оценивать размер закрытых языковых моделей не через цену API, скорость ответа или догадки о дата-центрах, а через более прямой след: сколько редких фактов модель действительно хранит в весах. В препринте на arXiv метод называется Incompressible Knowledge Probes — «зонды несжимаемого знания».

Идея дала громкие цифры: по шкале автора GPT-5.5 выглядит как модель примерно на 9,7 трлн параметров, Claude Opus 4.6 — около 5,3 трлн, Claude Sonnet 4.6 — около 1,7 трлн, Gemini 2.5 Pro — около 1,2 трлн. Но читать это нужно осторожно: работа не вскрывает закрытые модели как рентген. Она оценивает их «эффективную фактическую ёмкость» в эквиваленте открытых моделей — с большими интервалами неопределённости и понятными методологическими ловушками.

Как редкие факты превращаются в оценку размера

Обычный путь оценки закрытых LLM — inference economics: посмотреть на цену, latency, лимиты, вероятное железо и попытаться восстановить, сколько параметров может обслуживаться за такие деньги. Проблема в том, что туда вмешиваются batching, оптимизация сервинга, тип чипов, кэширование, маршрутизация и коммерческая политика провайдера. Ошибка легко становится двукратной и больше.

Ли предлагает другой угол. Если модель знает факт, который нельзя вывести рассуждением и нельзя надёжно угадать по общим закономерностям, этот факт должен где-то храниться. А хранение фактов требует минимального числа битов. Значит, чем больше редких, проверяемых фактов модель держит внутри, тем выше нижняя граница её размера.

Для этого автор собрал 1 400 фактических вопросов по семи уровням редкости — от универсальных знаний до экстремально длинного хвоста. В набор вошли вопросы, привязанные к Wikidata, малоизвестным исследователям и проверяемым сущностям, где ответ должен быть коротким и верифицируемым. Затем результаты были откалиброваны на 89 открытых моделях от 135 млн до 1,6 трлн параметров у 19 поставщиков.

Почему цифры выглядят убедительно — и почему им нельзя верить буквально

Главный статистический аргумент работы — высокая связь между IKP-результатом и размером модели: R² = 0,917 на открытых моделях. Автор также пишет, что leave-one-out проверка дала медианную ошибку 1,59×, а 87,6% моделей попали в предел 3×. Для MoE-моделей важная деталь ещё интереснее: знание лучше предсказывается общим числом параметров, а не числом активных параметров на один запрос.

Отсюда и оценки закрытых систем. В таблице препринта верхняя группа выглядит так: GPT-5.5 — примерно 9,7T, Claude Opus 4.6 — 5,3T, GPT-5 и GPT-5 Pro — около 4,1T, o1 — около 3,5T. Ниже идут Grok, GPT-4.1, Sonnet 4.6, Gemini 2.5 Pro, GPT-5 Mini и Gemini 2.5 Flash.

Но самое важное в этой работе — не сами триллионы, а сноски под ними. Автор прямо указывает 90-процентный prediction interval примерно 3× в каждую сторону. Для моделей выше 1 трлн неопределённость растёт ещё сильнее, потому что открытых калибровочных якорей на таком масштабе мало. Если закрытая модель использует retrieval-augmented generation за API, это может завысить фактический счёт. Если модель агрессивно настроена на безопасность и отказывается отвечать на obscure-вопросы, это наоборот может занизить оценку.

Safety refusals — скрытый налог на такие измерения

Особенно осторожно нужно читать оценки Claude и других сильно safety-tuned моделей. В препринте это названо фактически нижней границей: модель может «знать» ответ, но отказаться его дать, если вопрос выглядит слишком странным, подозрительным или неуместным. Тогда тест засчитывает провал, хотя в весах знание потенциально есть.

Это важная развилка для всей индустрии бенчмарков. Чем больше модели превращаются из «отвечателей на экзамене» в регулируемые продукты с политиками отказов, тем чаще мы измеряем не только интеллект или память, но и интерфейсную дисциплину. Одна и та же скрытая модель может выглядеть по-разному в зависимости от system prompt, safety layer, режима reasoning, доступа к инструментам и политики провайдера.

Поэтому корректная формулировка такая: IKP пытается оценить не паспортное число параметров, а наблюдаемую фактическую ёмкость модели в конкретном режиме доступа. Это полезно, но это не бухгалтерская отчётность OpenAI, Anthropic или Google.

Что это говорит о гонке scaling

Neuro.ee уже писал о GPT-5.5 Pro в индексе Epoch: внешние метрики становятся важной частью наблюдения за frontier-гонкой, потому что отдельные классические тесты быстро насыщаются. Работа Ли продолжает ту же линию, но смотрит не на общий capability-index, а на более узкий вопрос: растёт ли «память мира» внутри моделей.

Ответ автора: да, фактическая ёмкость продолжает масштабироваться с параметрами. В препринте это противопоставляется идее, что новые поколения становятся умнее просто за счёт «уплотнения» и лучшего post-training. Рассуждение, кодинг и агентные навыки действительно можно улучшать алгоритмами, обучением и временем на инференс. Но редкие факты хуже сжимаются: если модель должна знать длинный хвост мира, ей всё ещё нужен большой объём весов.

Для читателя практический вывод не в том, что GPT-5.5 «точно весит 9,7T». Практический вывод тоньше: закрытые лаборатории всё меньше раскрывают устройство моделей, а рынок всё больше нуждается в внешних приборах — пусть несовершенных — чтобы понимать, где реальный scaling, где продуктовая упаковка, а где политика безопасности скрывает часть возможностей.

Мнение редакции Neuro.ee

IKP — полезная, но опасная метрика: она звучит слишком удобно для заголовков. «GPT-5.5 на 9,7 трлн параметров» легко превратить в якобы точный факт, хотя сама работа говорит о нижних границах, wide intervals и зависимости от режима ответа.

Сильная сторона метода в другом. Он напоминает, что у ИИ есть разные виды прогресса. Можно улучшать reasoning без радикального роста фактической памяти. Можно делать модели дешевле и быстрее без раскрытия их размера. Можно настроить safety так, что внешнему тесту модель покажется менее знающей, чем она есть. И именно поэтому следующая фаза AI-наблюдения будет не про один универсальный рейтинг, а про набор специализированных приборов: capability-index, фактическая ёмкость, агентная надёжность, стоимость выполнения задачи, безопасность и контроль ошибок. Один тест не заменит реальность, но хороший тест делает её менее мутной.