Xiaomi разогнала ИИ до тысячи токенов в секунду: теперь модели соревнуются не только умом

Xiaomi и TileRT вывели MiMo-V2.5-Pro в UltraSpeed-режим: по официальной документации Xiaomi, новая версия рассчитана на примерно 500–1000 output tokens/s, тогда как обычный MiMo-V2.5-Pro указан в диапазоне 50–100 tokens/s. Techmeme поднял новость после сообщения Decrypt: Xiaomi заявляет, что ускоренная версия 1T-класса модели работает на обычном 8-GPU узле и не требует специализированного wafer-scale железа вроде Cerebras.

Это не значит, что у всех завтра появится домашний «триллионник» с мгновенными ответами. Речь о заявленной производителем производительности в собственном API/playground-режиме, с ограниченной ёмкостью и ручными approvals. Но сама цель показательна: рынок моделей начинает соревноваться не только за лучший результат в бенчмарке, а за то, как быстро большая модель может отвечать в настоящем рабочем сценарии.

Что именно запустили

MiMo-V2.5-Pro — это большая MoE-модель Xiaomi. В предыдущих материалах о MiMo-V2.5-Pro указывались 1,02 трлн total parameters, 42 млрд active parameters и контекст до 1 млн токенов. Новая версия UltraSpeed не выглядит как отдельная «умнее всех» модель; это скорее ускоренный режим инференса для того же класса задач: кодинг, длинные агентские цепочки, tool calling, сложное рассуждение и потоковая генерация.

Xiaomi прямо продаёт это как premium latency. В таблице цен UltraSpeed стоит втрое дороже обычного MiMo-V2.5-Pro: output указан как ¥18 за миллион токенов против ¥6 у стандартного режима, или $2,61 против $0,87. Взамен компания обещает примерно десятикратный прирост скорости вывода. Доступ ограничен: документация говорит о daily approvals и приоритете для профессиональных организаций.

Для обычного пользователя цифра «1000 токенов в секунду» звучит как технический рекорд. Для разработчика важнее другое: если большая модель отвечает почти без видимой паузы, меняются интерфейсы. Coding agent может быстрее предлагать правки, интерактивный аналитический инструмент — почти сразу пересчитывать длинную гипотезу, а голосовой или операционный ассистент — меньше походить на человека, который каждый раз уходит думать в соседнюю комнату.

Почему скорость стала отдельным фронтом гонки

Последние два года AI-рынок привык смотреть на интеллект: MMLU, SWE-bench, coding tests, agent benchmarks, long context. Но в реальной работе пользователь часто платит не только за правильность, а за задержку. Если ответ приходит через 40 секунд, часть сценариев разваливается: диалог теряет ритм, агент ждёт между шагами, сотрудник переключается на другую задачу, а автоматическая система не успевает принять решение.

TileRT в техническом посте объясняет ускорение как совместную работу модели и runtime. В списке ключевых приёмов — FP4 mixed-precision quantization для MoE-экспертов, DFlash speculative decoding и системная оптимизация, при которой вычислительный pipeline остаётся резидентным на GPU, а не запускает цепочку операций с лишними микропаузами. Проще говоря, Xiaomi и TileRT пытаются убрать не одну большую проблему, а много мелких потерь между моделью, памятью, планировщиком и GPU.

Это важный сдвиг. Раньше высокая скорость большой модели часто ассоциировалась либо с маленькими dense-моделями, либо с дорогим специализированным железом. Xiaomi теперь говорит: существенную часть выигрыша можно получить через архитектуру MoE, агрессивную оптимизацию инференса и обычные GPU. Проверить, насколько это повторяемо вне их инфраструктуры, рынку ещё предстоит. Но даже как заявка это давит на конкурентов: быстрый вывод становится продуктовой характеристикой, а не внутренней инженерной деталью.

Кому это действительно важно

Первый очевидный рынок — coding agents. В коде задержка особенно заметна: агент читает контекст, предлагает патч, ждёт результата теста, исправляет ошибку, снова генерирует. Если генерация становится почти мгновенной, общий цикл разработки сокращается не потому, что модель стала «гениальнее», а потому что пропали паузы между микро-действиями.

Второй рынок — финансы, риск-контроль и операционные системы, где решение нужно быстро, но простых правил уже мало. Xiaomi сама приводит примеры quantitative trading, real-time risk control и scientific research. Здесь важна оговорка: такие сценарии не про красивые демо, а про надёжность, интеграции, аудит и цену ошибки. Быстрый неправильный ответ всё ещё неправильный. Поэтому UltraSpeed интересен не как замена проверке, а как возможность держать большую модель внутри короткого цикла принятия решений.

Третий рынок — интерфейсы для людей. Чем меньше latency, тем меньше ИИ ощущается как отдельный сервис и тем больше он похож на слой внутри продукта: автодополнение, живой аналитик, помощник в IDE, ассистент в CRM, быстрый переводчик, генератор черновиков в документе. В таких местах модель не должна обязательно поражать глубиной каждого ответа; она должна быть достаточно сильной и достаточно быстрой, чтобы пользователь не выпадал из работы.

Где нужна трезвость

Самая важная оговорка: это заявленные данные Xiaomi и TileRT, а не независимый публичный сравнительный тест. У UltraSpeed также есть цена, ограничения доступа и неизвестные детали нагрузки: сколько параллельных пользователей, какие длины промптов, какой профиль задач, как меняется качество при FP4 и speculative decoding. Цифра 1000 tokens/s впечатляет, но её нельзя автоматически переносить на любой агентский workflow.

Тем не менее новость сильная именно как карта направления. Китайские игроки вроде DeepSeek, Qwen, Kimi, Zhipu и Xiaomi уже конкурируют не только модельными весами, но и API-экономикой, open-source-распространением, длинным контекстом, coding-интеграциями и теперь latency. Для западных лабораторий это неприятный тип давления: недостаточно иметь самую умную модель, если конкурент даёт модель чуть слабее, но дешевле, быстрее и удобнее для встраивания.

Для читателя практический вывод простой. Следующая волна ИИ будет оцениваться не одним вопросом «какая модель лучшая?». Важнее станет набор компромиссов: интеллект, скорость, цена, приватность, доступность, качество инструментов и предсказуемость под нагрузкой. UltraSpeed от Xiaomi — свежий пример того, как один из этих параметров, скорость, из технической сноски превращается в headline всей гонки.