Google представила D4RT: ИИ научился видеть мир в четырех измерениях

Google DeepMind представила D4RT: революционный прорыв в 4D-зрении для ИИ

Исследователи из Google DeepMind представили D4RT (Direct 4D Reconstruction and Tracking) — унифицированную модель искусственного интеллекта, которая радикально меняет способ восприятия видео нейросетями. В отличие от предыдущих систем, которые анализируют кадры по отдельности, D4RT мгновенно воссоздает динамичную трехмерную сцену во времени, работая до 300 раз быстрее текущих передовых методов.

Главным достижением разработчиков стала оптимизация вычислений: в ходе тестов D4RT обработала минутное видео всего за пять секунд на одном чипе TPU. Для сравнения, существующим аналогам на решение той же задачи требовалось до десяти минут. Это открывает путь к интеграции глубокого пространственного понимания в мобильные устройства и автономные системы в режиме реального времени.

Как работает «запросная» архитектура

В основе D4RT лежит архитектура Transformer, которая заменяет громоздкий конвейер из нескольких нейросетей одним элегантным механизмом. Раньше для анализа видео требовались отдельные модели для оценки глубины, трекинга объектов и определения положения камеры. D4RT объединяет всё это в едином интерфейсе запросов.

Модель отвечает на один фундаментальный вопрос: «Где именно в 3D-пространстве находится конкретный пиксель из видео в любой заданный момент времени и с любого ракурса?».

«Каждый раз, когда мы смотрим на мир, мы совершаем необычайный подвиг памяти и предсказания», — отмечают в Google DeepMind. «Мы понимаем вещи такими, какие они есть в данный момент, какими они были секунду назад и какими они станут в следующее мгновение. D4RT наделяет ИИ аналогичной способностью».

Ключевые технические возможности

Модель демонстрирует превосходство в нескольких критических областях компьютерного зрения:

• Сквозной трекинг: Система предсказывает траекторию движения пикселя, даже если объект временно скрывается за препятствием или выходит за пределы кадра.
• Мгновенная 3D-реконструкция: D4RT генерирует полную структуру сцены без необходимости итеративной оптимизации, которая раньше замедляла процесс.
• Оценка положения камеры: Модель автоматически выстраивает траекторию движения «глаз» ИИ, сопоставляя трехмерные снимки разных моментов времени.

В тестах на сложных синтетических сценах с быстрым движением и деформациями D4RT показала вдвое меньшую ошибку при построении облака точек по сравнению с лучшими существующими решениями.

Будущее робототехники и «моделей мира»

Разработка D4RT имеет стратегическое значение для развития систем вроде Veo и Genie. Способность эффективно разделять движение камеры, движение объектов и статичную геометрию приближает индустрию к созданию ИИ с истинной «мировой моделью» физической реальности.

Для робототехники это означает безопасную навигацию в динамичной среде, где робот должен мгновенно реагировать на движения людей. В сфере дополненной реальности (AR) технология позволит очкам накладывать цифровые объекты на реальный мир без задержек, с идеальным пониманием геометрии окружения.