Курс CS153 «Перспективные системы» Стэнфордского университета | Андреас Блаттманн из Black Forest...

Описание: Более подробную информацию об онлайн-программах Стэнфордского университета по искусственному интеллекту можно найти по адресу: https://stanford.io/ai

С расписанием и программой курса можно ознакомиться по ссылке: https://cs153.stanford.edu/

На этом занятии CS153 «Передовые системы» Анжней Мидха приветствует Андреаса Блаттмана, соучредителя Black Forest Labs и соавтора Stable Diffusion, для обсуждения передовых технологий визуального интеллекта и масштабируемости передовых «фабрик» ИИ.

Блаттман рассказывает о своем пути от инженера-механика до аспирантской лаборатории в Гейдельберге, разработке латентной диффузии для эффективного обучения генераторов изображений и выпуске Stable Diffusion в 2022 году. Они сравнивают более ранние одномодальные модели создания контента с сегодняшним стремлением к унифицированным многомодальным системам, охватывающим изображения, видео и аудио, а также прогнозирование действий для использования в компьютерах и робототехнике, подчеркивая циклы наблюдения и взаимодействия.


Используя Flux в качестве примера, они рассматривают этапы предварительного обучения, обучения в середине обучения, постобучения, дистилляции для повышения скорости, обратную связь от клиентов, влияющую на редактирование изображений и согласованность символов, а также почему открытые веса позволяют осуществлять настройку. Они также обсуждают Self Flow для многомодального выравнивания, защитные механизмы, соответствие требованиям ЕС, стратегии маркировки данных, компромисс между диффузией и авторегрессией, а также скептицизм в отношении явных 3D-представлений.

Приглашенный спикер:
Андреас Блаттманн — соучредитель Black Forest Labs (BFL), немецкого стартапа в области генеративного ИИ, разработавшего базовую модель преобразования текста в изображения FLUX, поддерживаемого Andreessen Horowitz и другими крупными венчурными фирмами. До основания BFL он работал исследователем генеративного ИИ в Мюнхенском университете имени Людвига Максимилиана, NVIDIA и Stability AI, где внес значительный вклад в генерацию изображений и видео. Он является соавтором метода латентной диффузии (Latent Diffusion), генеративной техники моделирования, на основе которой была создана открытая система преобразования текста в изображение Stable Diffusion (в разработке которой он принимал участие) и которая теперь используется в передовых моделях, включая FLUX, Midjourney и DALL-E 3 от OpenAI, с приложениями в области генерации звука и медицинской визуализации. Его научные публикации цитируются более 22 000 раз. В 2024 году он был включен в список 40 лучших молодых специалистов Германии по версии журнала Capital Magazin.

Подписывайтесь на плейлист:    • Stanford CS153 Frontier Systems