Джемма 4. Глубокое погружение — Кэссиди Хардин, исследователь, Google DeepMind

Описание: Открытые модели становятся меньше, быстрее и значительно функциональнее. В этом докладе Кэссиди Хардин расскажет о последних достижениях в семействе Gemma, уделяя особое внимание Gemma 4 и тому, что она позволяет разработчикам создавать системы искусственного интеллекта для устройств и с открытыми весами. Она расскажет об архитектуре, лежащей в основе плотных, эффективных моделей Gemma, использующих смешанный подход, включая улучшения механизма внимания, многомодальную поддержку текста, изображений и звука, а также о проектных решениях, которые делают возможными эффективные рассуждения, программирование и рабочие процессы агентов в практических размерах.

Информация о докладчике:
  / cassidyhardin  

Временные метки:
00:00:28 - Введение в семейство моделей Gemma 4 и четыре категории их размеров
00:01:54 - Переход к лицензированию Apache 2.0 для доступности для разработчиков
00:02:25 - Подробный анализ моделей плотного рассуждения (31B) и модели смешанных экспертов (MoE) (26B)
00:03:30 - Обзор эффективных моделей на устройстве (2B и 4B) ​​с многомодальной поддержкой
00:04:21 - Архитектурные обновления: чередующееся локальное/глобальное внимание и группированное внимание к запросам
00:06:51 - Объяснение новой архитектуры MoE (128 экспертов, 8 активных)
00:07:44 - Реализация встраивания по слоям (PLE) для оптимизации памяти на устройстве
00:11:06 - Многомодальный Достижения: переменные соотношения сторон и разрешения для кодировщиков машинного зрения
00:16:31 - Улучшения обработки звука с помощью архитектуры конформеров и аудиотокенизаторов
00:18:07 - Начало работы: саморазмещение (Hugging Face, Ollama) и развертывание в облаке (Vertex AI)