NVIDIA представила PersonaPlex-7B-v1: ИИ теперь говорит и слушает одновременно
Аудиоверсия статьи
AI-озвучка
NVIDIA PersonaPlex-7B-v1: Новая эра полнодуплексного общения с ИИ
Исследовательская группа NVIDIA официально представила PersonaPlex-7B-v1 — модель разговорного искусственного интеллекта нового поколения, работающую по принципу «речь-в-речь». Главной особенностью новинки стала способность системы одновременно воспринимать входящий аудиопоток и генерировать ответ, что позволяет пользователю перебивать ИИ, задавать уточняющие вопросы на лету и слышать естественные реакции в реальном времени.
Отказ от классического конвейера
Традиционные голосовые помощники работают по цепочке: распознавание речи (ASR), обработка текста языковой моделью (LLM) и синтез голоса (TTS). Каждое звено добавляет задержку, а сама система не может «слышать», пока говорит. PersonaPlex полностью пересматривает этот подход, используя единую архитектуру Transformer.
Модель обрабатывает непрерывный аудиопоток, закодированный с помощью нейронного кодека, и одновременно предсказывает как текстовые, так и аудио-токены. Это исключает задержки, характерные для каскадных систем, и позволяет ИИ моментально реагировать на изменение контекста разговора. Согласно тестам, скорость смены ролей в диалоге составляет всего 0,07 секунды, что значительно быстрее существующих аналогов.
Гибридная настройка личности
NVIDIA внедрила уникальную систему управления «личностью» модели через два типа подсказок:
- Голосовой промпт: короткий аудиофрагмент, который задает тембр, стиль речи и интонации.
- Текстовый промпт: описание роли, биографии и контекста сценария.
«PersonaPlex обеспечивает по-настоящему естественное общение, сохраняя выбранный образ на протяжении всего диалога. Модель обрабатывает перебивания и невербальные сигналы, такие как короткие подтверждения «угу» или «о», что создает качественную разницу в восприятии ИИ», — отмечают разработчики в техническом описании.
Технические детали и обучение
В основе PersonaPlex-7B-v1 лежит архитектура Moshi и языковая модель Helium. Обучение проводилось на массиве из тысяч часов реальных человеческих разговоров и синтетических диалогов, созданных для нужд служб поддержки и виртуальных ассистентов. Модель с 7 миллиардами параметров демонстрирует высокую точность в сценариях банковского обслуживания, медицинских консультаций и технической поддержки.
NVIDIA выпустила веса модели под открытой лицензией (NVIDIA Open Model License), а исходный код — под лицензией MIT, что позволяет разработчикам по всему миру интегрировать технологию в свои локальные и облачные решения.
💬 Мнение редакции Neuro.ee
PersonaPlex-7B-v1 фактически стирает грань между человеческим общением и взаимодействием с машиной. Переход к полнодуплексным моделям означает, что эра «деревянных» ассистентов, требующих пауз после каждой фразы, подошла к концу. Для бизнеса это открывает путь к созданию операторов поддержки, которых невозможно отличить от живых людей.
- reddit.comReddit - The heart of the internet
- vertexaisearch.cloud.google.comaibase.com
- huggingface.convidia/personaplex-7b-v1 · Hugging Face
- medium.commedium.com
- research.nvidia.comNVIDIA PersonaPlex: Natural Conversational AI With Any Role and Voice
- the-decoder.comNvidia releases open model PersonaPlex, a voice AI that listens and talks at the same time
- marktechpost.comNVIDIA Releases PersonaPlex-7B-v1: A Real-Time Speech-to-Speech Model Designed for Natural and Full-Duplex Conversations
