Архитектура масштаба: Как разреженное внимание позволило Zhipu AI создать модель GLM-5

Архитектура масштаба: Как разреженное внимание позволило Zhipu AI создать модель GLM-5

11 февраля 2026 года, в разгар празднования китайского Нового года, компания Zhipu AI (недавно сменившая бренд на Z.ai) официально представила свою новую флагманскую модель — GLM-5. С параметрической мощностью в 744 миллиарда параметров эта нейросеть стала крупнейшей в открытом доступе, бросая прямой вызов лидерам западного рынка — Claude 4.5 и грядущим итерациям GPT-5.

Контекст: Гонка на пределе эффективности

Релиз GLM-5 состоялся в критический для индустрии момент. После того как DeepSeek в начале 2025 года обрушил цены на API, рынок разделился на два лагеря: тех, кто бездумно наращивает вычислительные кластеры, и тех, кто ищет способы «умного масштабирования». Zhipu AI выбрала второй путь.

Для Китая, находящегося под жесткими экспортными ограничениями на чипы, создание модели такого объема — это не просто вопрос престижа, а триумф инженерной мысли над дефицитом «железа».

Суть события: 744 миллиарда смыслов и разреженное внимание

Главная техническая особенность GLM-5 — это сочетание архитектуры смеси экспертов (Mixture-of-Experts, MoE) и технологии разреженного внимания (Sparse Attention).

1. Масштаб без перегрева: При общем объеме в 744 миллиарда параметров, в каждый конкретный момент времени активируется лишь около 40–44 миллиардов. Это позволяет модели обладать «энциклопедической памятью» гиганта, сохраняя при этом скорость работы и стоимость генерации токенов на уровне компактных моделей.
2. Технология DSA: Zhipu внедрила механизм DeepSeek Sparse Attention (разреженное внимание). В отличие от классических трансформеров, где каждый токен «смотрит» на все остальные, разреженное внимание фокусируется только на наиболее релевантных связях. Это позволило расширить окно контекста до 202 тысяч токенов и добиться рекордного выходного окна в 131 тысячу токенов без катастрофического роста потребления видеопамяти.
3. Аппаратная независимость: По подтвержденным данным, GLM-5 обучалась на отечественных чипах Huawei Ascend 910C с использованием фреймворка MindSpore. Это доказывает, что китайский стек технологий теперь автономен и способен обучать модели мирового уровня без участия NVIDIA.

Мистификация «Pony Alpha»

За неделю до официального релиза на платформе OpenRouter появилась таинственная модель под именем Pony Alpha. Она была бесплатной и мгновенно возглавила рейтинги по качеству программирования. Пользователи за четыре дня прогнали через неё более 25 миллиардов токенов, гадая, кто стоит за этим «чудом». Сегодня карты раскрыты: это был полевой тест GLM-5. Эксперимент показал, что модель не просто пишет код, а понимает архитектуру сложных систем, превосходя Claude 4.5 в задачах многошагового проектирования (Agentic Engineering).

Последствия: От написания кода к строительству систем

Релиз GLM-5 знаменует собой окончательный переход от эпохи «умных чат-ботов» к эпохе автономных агентов.

• Для разработчиков: Модель оптимизирована для работы в агентных циклах. Она способна самостоятельно планировать задачи, использовать внешние инструменты и исправлять собственные ошибки в реальном времени.
• Для рынка: Zhipu AI, недавно вышедшая на IPO в Гонконге, демонстрирует, что открытые (open-weights) модели могут успешно конкурировать с закрытыми экосистемами США.

Мнение редакции Neuro.ee

GLM-5 — это не просто «еще одна большая модель». Это манифест эффективности. Использование разреженного внимания при таком колоссальном количестве параметров доказывает: мы достигли предела, когда грубая сила вычислений должна уступить место изяществу алгоритмов.

Особое внимание стоит обратить на политический аспект: успех обучения на чипах Huawei снимает вопрос о том, сможет ли Китай продолжать гонку в условиях санкций. Ответ — «да», и делает он это быстрее, чем ожидали в Кремниевой долине. Пока западные гиганты тратят миллиарды на энергию, Zhipu AI тратит их на архитектурную оптимизацию, превращая «программирование по наитию» в дисциплинированный инжиниринг нового поколения.