Назад
3 июля 2026 г. в 15:00 AI Open Source Local LLM DeepSeek llama.cpp Inference GitHub; Reddit r/LocalLLaMA

Патч llama.cpp уместил миллион токенов DeepSeek V4 Flash на RTX 5090

Патч llama.cpp уместил миллион токенов DeepSeek V4 Flash на RTX 5090

Патч llama.cpp уместил миллион токенов DeepSeek V4 Flash на RTX 5090

В сообществе LocalLLaMA появился показательный пример того, как локальный ИИ становится практичнее без новой громкой модели. Разработчик опубликовал ветку llama.cpp с CUDA-ядром для lightning indexer в DeepSeek V4 Flash. По его измерениям, патч позволяет запускать модель с контекстом до 1 млн токенов на RTX 5090 с 32 ГБ VRAM.

Проблема была не в «интеллекте» модели, а в памяти. В исходной схеме lightning indexer создавал промежуточный буфер размером примерно 67 ГБ при 256K контекста и теоретически около 256 ГБ при 1M. Для потребительской видеокарты это означает отказ или резкое снижение скорости. Новый fused CUDA kernel не материализует огромную матрицу целиком и снижает буфер до нескольких гигабайт.

Что показали тесты

В документации к ветке автор указывает железо: RTX 5090, Ryzen 9 9950X3D и 96 ГБ DDR5. На 256K контекста prefill вырос с 56 до примерно 204 токенов в секунду в сравнительном сценарии, а в длинном документе доходил до 263 токенов в секунду. На 1M контекста запуск потребовал около 31,2 ГБ VRAM и 72,6 ГБ RAM, prefill составил примерно 159 токенов в секунду, decode держался около 13,7 токена в секунду.

Это не магическая кнопка «запустить frontier-модель дома». Использовалась смешанная квантизация DeepSeek V4 Flash, часть MoE-экспертов выгружалась в оперативную память, а ветка пока не является обычным стабильным релизом llama.cpp. В документе отдельно сказано, что quantized KV cache в этой кодовой базе сейчас дает некорректный вывод без другого исправления.

Почему это важно шире одного патча

Для обычного пользователя главный вывод простой: локальные модели упираются не только в размер весов, но и в качество инференс-стека. Один удачный kernel может превратить «невозможно на этом железе» в «дорого, сложно, но работает». Это особенно важно для сценариев с большими документами, кодовыми базами, архивами переписки и локальными агентами, где длинный контекст часто важнее красивого бенчмарка.

История также показывает, как открытая экосистема конкурирует с облаком. Большие лаборатории выигрывают качеством моделей и удобством API, но llama.cpp, GGUF, квантизация и подобные патчи постепенно снижают цену независимого запуска. Для компаний и энтузиастов это означает больше контроля над данными и больше вариантов между «все отправить провайдеру» и «ждать ответа локальной модели вечность».

Пока это материал для тех, кто готов читать инструкции сборки и понимать ограничения. Но именно из таких инженерных улучшений складывается зрелость локального ИИ: меньше демонстраций ради шума, больше конкретных снятых ограничений.

Ещё новости

Gemini подключила Google Wallet к советам о личных финансах
15 ноября 2026 г.
Gemini подключила Google Wallet к советам о личных финансах

Google начала разворачивать в США подключение Google Wallet к Gemini. Ассистент сможет отвечать с учётом расходов, а при добровольном подключении через Plaid — и данных карт и банковских счетов; переводить или инвестировать деньги он не сможет.

Gemini 4 Hydrogen появился в GitHub Copilot
14 ноября 2026 г.
Gemini 4 Hydrogen появился в GitHub Copilot

GitHub добавил Gemini 4 Hydrogen в Copilot как общедоступную модель. Для разработчиков это ещё один быстрый вариант для агентных задач и многошаговой работы с инструментами — но выбор доступен не во всех тарифах и средах.

OpenAI открыла ранний доступ к агентам для проверки и исправления уязвимостей
14 ноября 2026 г.
OpenAI открыла ранний доступ к агентам для проверки и исправления уязвимостей

OpenAI представила ранний доступ к Daybreak Red Team и Defense Factory: первая система проверяет веб-приложения на уязвимости, вторая готовит исправления для ревью инженера. Обе части требуют контроля области проверки и не заменяют ответственность команды за код.

Эстонский FleetFox с ИИ-проверкой по фото готовится к банкротству
14 ноября 2026 г.
Эстонский FleetFox с ИИ-проверкой по фото готовится к банкротству

Эстонская FleetFox, которая заявляет об ИИ-проверке качества по фотографиям в обслуживании автопарков, намерена подать заявление о банкротстве. Компания говорит о сорванной инвестсделке и нехватке денежных средств после сокращения заказов крупных клиентов.

ChatGPT Wallet: агентам дали оплату без номера карты
13 ноября 2026 г.
ChatGPT Wallet: агентам дали оплату без номера карты

OpenAI запускает ChatGPT Wallet для покупок через агентов dots: пользователь подтверждает каждую оплату биометрией, а продавец и агент не получают данные его карты. На старте функция доступна только подписчикам ChatGPT Pro в США с подходящими американскими картами.

Сбой Microsoft 365 затронул Outlook, Copilot и инструменты защиты
13 ноября 2026 г.
Сбой Microsoft 365 затронул Outlook, Copilot и инструменты защиты

Microsoft сообщила о масштабной деградации Microsoft 365: у части пользователей не работали почта Outlook и Exchange Online, а также связанные с ними корпоративные сервисы. В статусе компании перечислены проблемы с Copilot, Defender XDR, Purview, Teams и другими продуктами; потребительский OneDrive и Outlook.com вынесены в отдельное уведомление.

VS Code 1.146 добавил inbox для ИИ-агентов и сравнение моделей
13 ноября 2026 г.
VS Code 1.146 добавил inbox для ИИ-агентов и сравнение моделей

В стабильной версии VS Code 1.146 появился inbox для сессий агентов, отдельные окна чата и расширенное сравнение моделей. Одновременно Microsoft объявила, что Local harness будет удалён в феврале 2027 года.

Google выпустила Gemini 4 Hydrogen: миллион токенов за $1,50
13 ноября 2026 г.
Google выпустила Gemini 4 Hydrogen: миллион токенов за $1,50

Google представила Gemini 4 Hydrogen — более быстрый и дешёвый вариант для агентных задач. Модель получила контекст в миллион токенов и стала доступна в API, AI Studio, приложении Gemini и поиске; условия доступа зависят от продукта и тарифа.

Anthropic выпустила Claude Fable 5.2 и Mythos 5.2: обычным пользователям доступна только одна модель
12 ноября 2026 г.
Anthropic выпустила Claude Fable 5.2 и Mythos 5.2: обычным пользователям доступна только одна модель

Anthropic представила Claude Fable 5.2 и Claude Mythos 5.2 для сложных технических задач. Fable доступна всем пользователям, а Mythos для кибербезопасности и биомедицины остаётся по заявке; базовая цена API — $8 за миллион входных и $40 за миллион выходных токенов.

Anthropic пустила Claude на встречи в Google Meet — и ограничила бета-доступ
12 ноября 2026 г.
Anthropic пустила Claude на встречи в Google Meet — и ограничила бета-доступ

Anthropic начала бета-раскатку Claude Meetings для Team и Enterprise: видимый участник Google Meet ведёт стенограмму, отвечает на вопросы и прямо во время разговора собирает документы и доски. Это шире обычного ИИ-конспекта, но функция недоступна организациям с ZDR, HIPAA-ready и CMEK-конфигурациями.

Gemini Robotics 2.5: гуманоид Apollo показал 96% в цехе Mercedes
12 ноября 2026 г.
Gemini Robotics 2.5: гуманоид Apollo показал 96% в цехе Mercedes

Google DeepMind представила Gemini Robotics 2.5 — VLA-модель для управления роботами. В пилоте на линиях Mercedes-Benz гуманоид Apollo 2 сортировал автодетали с заявленным успехом 96%.

Gemini Live появился в Apple CarPlay
12 ноября 2026 г.
Gemini Live появился в Apple CarPlay

Google начала глобально разворачивать Gemini Live в Apple CarPlay. Голосовой помощник может продолжать диалог с iPhone, но часть персонализированных функций недоступна пользователям в ЕЭЗ.