NVIDIA NVFP4: Как втиснуть интеллект GPT-4o в 4 бита и не сойти с ума
NVIDIA представила новый формат квантования NVFP4 и обновленную линейку моделей Nemotron. Спойлер: теперь огромные LLM едят вдвое меньше памяти, а работают быстрее, чем вы успеваете моргнуть.
Что произошло?
Пока индустрия билась над тем, как сжать нейросети без потери их «мозгов», NVIDIA выкатила ультимативное решение — формат NVFP4 (NVIDIA 4-bit Floating Point). Это не просто очередное «обрезание» весов до целых чисел (INT4), а хитрый гибридный формат с плавающей точкой, созданный специально для архитектуры Blackwell.
Главная новость недели: NVIDIA выпустила модель Nemotron-3 Nano-30B в формате NVFP4. Благодаря технологии QAD (Quantization-Aware Distillation) — это когда «умная» полноразмерная модель учит «сжатую» версию — им удалось сохранить точность уровня BF16 при четырехкратном уменьшении объема.
Техническая магия: почему это не INT4?
Главная проблема обычного 4-битного квантования — потеря точности на «выбросах» (outliers). NVFP4 решает это через двухслойное масштабирование:
- Микроблоки по 16 значений: каждое из них получает свой масштабный коэффициент в формате FP8.
- Глобальный скаляр FP32: накладывается сверху на весь тензор.
Результат? Память экономится в 3.5 раза по сравнению с FP16 и в 1.8 раза по сравнению с уже привычным FP8. На чипах Blackwell (B200/GB200) это дает безумный прирост пропускной способности — до 15 петафлопс на одну систему.
Почему это важно?
- Смерть «мемори-лимита»: Теперь модели уровня Llama 3.1 70B или свежие Nemotron 70B, которые раньше требовали целую стойку серверов, можно запускать на значительно меньшем количестве GPU. Модель Llama-3.1-Nemotron-70B-Instruct уже возглавила чарты Arena Hard (85 баллов против 79 у GPT-4o), а с NVFP4 она становится еще и экономически выгодной.
- Экосистема готова: Поддержка NVFP4 уже «завезена» в TensorRT-LLM, vLLM и SGLang. Это значит, что разработчикам не нужно ждать годами — оптимизированные чекпоинты моделей вроде DeepSeek-R1, Flux.2 и Nemotron уже лежат на Hugging Face.
- Локальный запуск: NVIDIA намекает, что с выходом потребительских карт серии RTX 50 (Blackwell), запуск моделей на 30-70 млрд параметров дома станет реальностью, а не мучением с 2 токенами в секунду.
