Google Research представила TurboQuant: сжатие KV cache как новый удар по memory wall в LLM

Google Research опубликовала материал о TurboQuant — алгоритме квантования векторов, который компания позиционирует как практический способ резко уменьшить объём KV cache в больших языковых моделях. В публичной подаче цифры звучат впечатляюще: около 6x меньше памяти для cache, «нулевая» потеря качества при 3-битном представлении и до 8x ускорения вычисления attention на H100 в отдельных сценариях.

Но реальная значимость TurboQuant не в том, что Google нашла ещё одну «магическую» оптимизацию. Важнее другое: работа показывает, что KV cache всё ближе к состоянию, где его уже нельзя безболезненно ужимать привычными инженерными трюками. И именно поэтому рынок так нервно отреагировал на новость: если один из самых дорогих компонентов инференса начинает приближаться к теоретическому пределу эффективности, меняется не только software stack, но и инвестиционный нарратив вокруг памяти для ИИ.

Почему KV cache стал центром проблемы

В decoder-only LLM основная стоимость длинного контекста часто упирается не в сами веса модели, а в KV cache — сохранённые key/value-представления предыдущих токенов, которые позволяют не пересчитывать всё заново на каждом шаге генерации. По мере роста окна контекста именно cache начинает быстро съедать VRAM и пропускную способность памяти.

Это и есть один из главных вариантов memory wall в современном инференсе: модель может быть уже квантована, веса могут помещаться в доступную память, но длинный контекст всё равно делает обслуживание запросов дорогим и медленным. На практике это бьёт по всему сразу — по числу одновременных сессий, по latency, по выбору GPU и по экономике inference в целом.

TurboQuant адресует именно этот узкий участок. В paper авторы описывают online vector quantization-подход, который старается минимизировать искажение скалярных произведений, критичных для attention, а не просто грубо снизить precision каждого значения по отдельности.

Что именно предлагает TurboQuant

Согласно статье и блогу Google Research, TurboQuant состоит из двух ключевых частей.

Первая — PolarQuant. Она делает случайный поворот исходного вектора и переводит задачу в форму, где координаты проще квантуются без типичного для таких методов overhead на нормализационные константы. Вторая — QJL-компонент, который добавляет 1-битную коррекцию остаточной ошибки и позволяет убрать смещение в оценке inner product.

В более простом пересказе: Google пытается сжать KV cache не как набор независимых чисел, а как геометрическую структуру, важную именно для attention. Это важный сдвиг. Во многих предыдущих методах часть выигранной памяти съедалась служебными параметрами, калибровкой или дополнительными таблицами. TurboQuant делает ставку на то, что можно приблизиться к теоретически лучшему режиму с меньшим служебным балластом.

В arXiv-версии paper авторы формулируют это довольно жёстко: TurboQuant достигает near-optimal distortion rates и находится лишь в небольшой константе от информационно-теоретического нижнего предела. Для новостного контекста это, возможно, даже важнее самих маркетинговых «6x»: речь не просто о полезной оптимизации, а о заявке на приближение к фундаментальному пределу того, насколько вообще можно ужать такие данные без существенной потери смысла.

Что показывают бенчмарки

Тут стоит аккуратно разделять подтверждённые в paper результаты и более громкие интерпретации вокруг них.

Что заявлено напрямую:

• в abstract paper сказано, что для KV cache достигнута «absolute quality neutrality» при 3.5 bits per channel;
• при 2.5 bits per channel авторы пишут о marginal quality degradation;
• в блоге Google фигурирует формулировка про 3-bit KV cache compression без потери качества;
• в корпоративной подаче также заявлены как минимум 6x сокращение memory footprint и до 8x ускорение вычисления attention logits на H100 по сравнению с 32-bit baseline.

На LongBench в таблице paper средний результат TurboQuant при 3.5 битах действительно совпадает с full-cache baseline для Llama-3.1-8B-Instruct. В Needle-in-a-Haystack авторы показывают идентичный результат full precision при 4x compression. Для задач nearest-neighbor search метод также выглядит сильным: он обходит классический product quantization по recall и почти не требует времени на indexing.

То есть headline у работы не взят с потолка: результаты в paper действительно очень сильные.

Где ограничения и почему их нельзя игнорировать

И всё же превращать TurboQuant в универсальный приговор рынку памяти пока рано.

Во-первых, бенчмарки ограничены конкретными моделями и наборами задач. В paper фигурируют Llama-3.1-8B-Instruct, Mistral-7B-Instruct, LongBench-E, Needle-in-a-Haystack и несколько retrieval-сценариев. Это важные тесты, но они не исчерпывают весь продакшн-мир: разные serving-стеки, MoE-модели, agentic workloads, multimodal pipelines и длинные диалоги с частыми cache updates могут вести себя иначе.

Во-вторых, часть сравнений чувствительна к реализации. Авторы сами отмечают, что альтернативные методы по-разному реализованы и не всегда одинаково хорошо векторизуются на CPU/GPU. Когда paper показывает почти нулевое время indexing у TurboQuant и очень медленные baseline-методы, это важно, но это ещё и reminder: benchmarking quantization-алгоритмов почти всегда частично зависит от качества конкретной реализации, а не только от математики.

В-третьих, «3 бита без потерь» и «3.5 bits per channel с quality neutrality» — не совсем одно и то же. В paper средняя битность достигается в том числе за счёт раздельной обработки каналов и outlier-aware схемы. Для заголовка это обычно сокращают до «3-битного cache», но в инженерном смысле нужно смотреть на effective bitrate, схему разбиения каналов и дополнительную логику интеграции.

В-четвёртых, ускорение attention до 8x относится к вычислению attention logits в конкретной конфигурации и к сравнению с 32-bit baseline. Это не означает автоматическое 8x ускорение всей LLM-системы end-to-end. В реальной эксплуатации общая производительность определяется не только quantized keys, но и scheduler’ом, bandwidth, batch composition, декодированием, передачей данных и поведением value-side cache.

И, наконец, даже если TurboQuant действительно приближает KV-компрессию к теоретическому пределу, из этого не следует, что спрос на память «исчезнет». Это лишь означает, что одна конкретная часть memory pressure может расти медленнее, чем ожидалось.

Почему рынок всё равно отреагировал

После публикации блога и обсуждения paper инвесторы быстро прочитали историю предельно просто: если крупнейшие модели можно обслуживать с существенно меньшим объёмом KV cache, значит hyperscalers потенциально смогут покупать меньше memory capacity на единицу inference-нагрузки. На этом нарративе акции компаний, связанных с памятью и storage, просели уже в первые часы; в пересказах рынка чаще всего упоминались Micron, Western Digital и SanDisk.

Эта реакция была не столько следствием детального пересчёта будущих заказов, сколько следствием смены фокуса. Последние кварталы рынок жил в логике, что AI buildout почти автоматически означает всё больше HBM, DRAM и flash. TurboQuant ударил по самой удобной версии этой истории: оказалось, что по крайней мере часть memory bottleneck можно смягчить не новым железом, а более умной математикой.

Для рынка это чувствительно по трём причинам.

Первая: KV cache — заметный компонент затрат именно там, где деньги начинают определяться не тренировкой, а массовым inference. Если inference становится более memory-efficient, сокращается потребность в избыточном запасе VRAM на токен и улучшается economics обслуживания длинного контекста.

Вторая: работу опубликовала не маленькая research-группа, а Google Research. Инвесторы обычно предполагают, что у компаний такого масштаба часть похожих оптимизаций уже постепенно внедряется внутрь стеков до публикации paper. Поэтому рынок реагирует не только на статью как на академический артефакт, а как на сигнал, куда движется production engineering у лидеров индустрии.

Третья: TurboQuant выглядит не как косметическое улучшение, а как признак приближения к пределу. Если компрессия KV cache действительно становится near-optimal, то дальнейший рост спроса на память уже нельзя моделировать прежней прямой линией. Рынок слышит не «память больше не нужна», а «один из самых сильных драйверов спроса может оказаться менее бездонным, чем казалось».

Что это меняет для индустрии на самом деле

Самый важный вывод не в том, что memory vendors внезапно потеряли фундаментальный спрос. Скорее наоборот: TurboQuant подчёркивает, насколько дорогим узким местом стала память в AI-инференсе. Если крупнейшие исследовательские команды тратят ресурсы на то, чтобы приблизить KV cache к информационно-теоретической границе, значит bottleneck реален и уже экономически болезнен.

Но это также означает, что выигрыш от следующего шага может сместиться в другие уровни стека. После определённой точки одного лишь квантования будет мало. Дальше рынок и инженеры будут искать выгоду в архитектуре моделей, routing у MoE, sparsity, управлении контекстом, cache eviction, retrieval-слоях, scheduler’ах и более тесной связке software с memory hierarchy железа.

Именно поэтому TurboQuant важен. Это не просто ещё один paper про сжатие. Это маркер того, что простые резервы в KV cache заканчиваются, а разговор об эффективности LLM окончательно смещается от «сколько памяти добавить» к вопросу «какую часть memory wall можно снять алгоритмами, а где уже придётся менять саму архитектуру систем».

Если заявленные результаты воспроизведутся в открытых реализациях и продакшн-стеках, TurboQuant может стать одним из ключевых исследовательских релизов года для inference engineering. Но даже если часть цифр в реальной эксплуатации окажется скромнее, сама логика работы уже изменила рамку дискуссии: в ИИ гонка идёт не только за более мощными чипами, но и за тем, кто первым научится обходить memory wall математически, а не исключительно капитальными затратами.