ИИ теперь может строить и исследовать трехмерные миры (World Labs + Google Breakthrough)

Описание: ИИ теперь может создавать полноценные трёхмерные миры из одного изображения, а новейший ИИ-агент от Google DeepMind, SIMA 2, может перемещаться по ним, исследовать и даже играть в игры. В этом видео рассказывается о том, как модели создания миров, такие как Marble от World Lab, и агентные системы, такие как SIMA 2, объединяются, чтобы преобразить симуляцию, кинопроизводство, разработку игр и интерактивный ИИ.

Заглядывая в будущее, можно сказать, что это сочетание моделей миров и ИИ-агентов намекает на будущее, в котором цифровые среды создаются по запросу, персонажи мыслят и действуют автономно, а целые миры можно создавать, тестировать и исследовать в режиме реального времени, стирая грань между виртуальными и физическими мирами.

World Labs Marble — https://www.worldlabs.ai/

SIMA 2 от Google DeepMind — https://deepmind.google/blog/sima-2-a...

Главы:
0:00 — Создание мира с помощью ИИ (World Labs Marble)
1:15 — Ввод нескольких изображений
2:10 — Использование панорам в качестве 3D-входных данных
3:20 — Редактирование миров: закраска и удаление объектов
5:44 — Chisel: 3D-блокирующие входные данные
6:33 — Видео в видеовыходы
7:13 — Экспорт в 3D-программы
8:45 — Примеры использования в реальном мире (игры, XR, VP)
11:55 — Новый ИИ-агент Google (SIMA 2)
15:29 — Неявный подход (Genie-3 и модели мира на основе диффузии)
16:00 – Зачем нам нужны модели мира
17:03 – Поток движения (Распространение и управление видео)
17:48 – Куда всё это пойдёт дальше
--
Подпишитесь на более подробные видео об ИИ и креативных технологиях! 👉 @bilawalsidhu

Подпишитесь на мою рассылку: https://spatialintelligence.ai
Свяжитесь со мной в X/Twitter здесь: https://x.com/bilawalsidhu
В других местах здесь: https://bilawal.ai
Деловые запросы: [email protected]

Биография:
Билавал Сидху — творец, инженер и создатель продуктов, одержимый идеей сочетания реальности и воображения с помощью искусства и науки. Билавал — технологический куратор TED Talks и венчурный скаут Andreessen Horowitz. Обладая более чем десятилетним опытом работы в сфере технологий, он шесть лет проработал менеджером по продукту в Google, где занимался пространственными вычислениями и 3D-картами. Его работы публиковались в таких крупных изданиях, как Bloomberg, Forbes, BBC, CNBC и Fortune, среди прочих. Путь Билавала к компьютерной графике начался в 11 лет, когда он влюбился в умение органично сочетать 3D с реальными кадрами. С тех пор у него появилось более 1,5 млн подписчиков и более 500 млн просмотров на всех платформах. Стремясь вдохновлять новое поколение художников и предпринимателей, Билавал открыто делится в социальных сетях рабочими процессами с использованием искусственного интеллекта и отраслевыми инсайтами. В свободное от работы время Билавал пополняет свою коллекцию электрогитар.

TED: https://www.ted.com/speakers/bilawal_...