ИИ из 1930 года: зачем исследователям понадобилась модель без памяти о вебе

Команда Nick Levine, David Duvenaud и Alec Radford представила Talkie — семейство open-weight «винтажных» языковых моделей, главная версия которого, talkie-1930-13b-base, обучена на 260 млрд токенов англоязычных текстов, опубликованных до конца 1930 года. Поверх базовой модели выпущен instruction-tuned checkpoint talkie-1930-13b-it: его можно запускать локально через библиотеку на GitHub и скачать с Hugging Face под Apache 2.0.

На первый взгляд это выглядит как технологическая странность: чат-бот, который говорит из мира до компьютеров, интернета, Второй мировой войны и современной науки. Но исследовательская ставка здесь серьезнее. Talkie — это попытка построить модель без современной web-contamination и проверить, какие способности LLM действительно возникают из языка, масштаба и контекста, а какие мы привыкли видеть потому, что современные модели уже впитали ответы из веба.

Модель как машина времени для benchmark’ов

Проблема загрязнения данных стала одной из самых неприятных в оценке больших моделей. Если benchmark, кодовая задача или популярная статья уже были в обучающем корпусе, хороший результат может быть не чистой генерализацией, а узнаваемым эхо из памяти. Talkie обходит это конструктивно: ее корпус собран из книг, газет, журналов, научных публикаций, патентов и юридических текстов до 1931 года.

Отсюда появляется редкая возможность: давать модели события будущего относительно ее cutoff и измерять, насколько они для нее «удивительны». В отчете авторы прогнали почти 5000 описаний исторических событий из рубрики New York Times “On This Day” и увидели рост удивительности после 1930 года, особенно заметный в 1950–1960-х, а затем плато. Это не превращает Talkie в оракула, но дает экспериментальную рамку для вопроса, который обычно звучит слишком абстрактно: как у моделей ухудшается прогнозирование за горизонтом знаний?

Может ли модель «изобрести» будущее

Второй слой эксперимента еще интереснее: если модель обучена только на прошлом, может ли она прийти к идеям, которые человечество сформулировало позже? Авторы прямо указывают на такие тесты, как вертолетный патент Сикорского 1935 года, статья Тьюринга 1936 года и патент на ксерографию 1942 года. В более широкой формулировке это тот же вопрос, который Demis Hassabis задавал про модель с cutoff в 1911 году: смогла бы она самостоятельно открыть общую теорию относительности до Эйнштейна 1915 года?

Для рынка это звучит как философия, но для оценки AI-систем это практический инструмент. Если модель умеет не просто воспроизводить известное, а строить правдоподобные шаги к еще не опубликованным открытиям, у исследователей появляется более чистый способ отделять запоминание от продуктивного обобщения. И наоборот: если «изобретения» оказываются в основном ретроспективной имитацией, это охлаждает слишком громкие заявления о творческих способностях LLM.

Программирование без компьютеров

Самый наглядный стресс-тест Talkie — программирование. Модель, обученная на мире до цифровых компьютеров, получает несколько примеров Python-кода в контексте и затем пытается решать задачи HumanEval. Результат пока далек от современных code-моделей: правильные ответы у винтажных моделей в основном сводятся к простым однострочным функциям или небольшим изменениям примеров.

Но важна сама динамика. Авторы пишут, что с ростом масштаба винтажные модели медленно, но устойчиво улучшаются в таких задачах. Один пример — декодирование шифра Цезаря, когда модель, увидев функцию кодирования, смогла заменить сложение на вычитание. Это крошечный успех, но он проверяет не знание Python из обучающего корпуса, а способность вытащить правило из демонстраций и применить его в новом месте. Именно такие эксперименты делают Talkie полезной не как продуктовый ассистент, а как лабораторный инструмент для изучения in-context learning.

Чистота эксперимента все равно не абсолютна

У проекта есть честно описанные ограничения. Полностью исключить temporal leakage сложно: старые документы могут содержать поздние предисловия и сноски, а современные метаданные — ошибаться. Авторы признают, что talkie-1930-13b знает некоторые детали о Второй мировой войне, ООН и послевоенном устройстве Германии, а более ранняя 7B-версия знала о президентстве Рузвельта и New Deal.

Есть и проблема качества данных. До 1931 года тексты не были цифровыми, значит корпус неизбежно проходит через OCR. По оценке команды, обучение на обычных OCR-транскрипциях дает лишь около 30% эффективности по сравнению с человеческими транскрипциями; простая regex-чистка поднимает показатель примерно до 70%, но разрыв остается. Поэтому один из следующих шагов Talkie — специализированный OCR для исторических документов.

Наконец, instruction-tuned версия не совсем «из прошлого». Для пост-тренинга авторы использовали пары инструкций и ответов из старых справочников, этикетных пособий, энциклопедий и писем, но затем применяли online DPO с Claude Sonnet 4.6 как судьей и дополнительные синтетические диалоги с Claude Opus 4.6. Simon Willison справедливо отмечает: базовая модель близка к его идее «vegan models» на лицензированных или out-of-copyright данных, а чат-версия уже частично сформирована современными LLM.

Почему это важно

Talkie не пытается победить GPT-5.5 или Claude в полезности. Ее роль другая: дать исследователям контрольную группу из альтернативной истории, где нет Stack Overflow, GitHub, Wikipedia, Reddit, современных учебников и бесконечного следа самих LLM в интернете. Это редкий способ проверить, что именно масштабная языковая модель умеет переносить за пределы своей эпохи.

Если такие «винтажные» модели будут расти, они могут стать одним из самых полезных инструментов для честной оценки AI. Не потому, что они знают больше, а потому, что они заведомо знают меньше. В индустрии, где benchmark’и слишком быстро превращаются в часть обучающих данных, иногда самый ценный тест — это модель, для которой будущее действительно еще не наступило.