Самоспекулятивные замаскированные диффузии | Эндрю Кэмпбелл

Описание: Портал — это дом сообщества, занимающегося разработкой ИИ для разработки лекарств. Присоединяйтесь к нам, чтобы узнать больше об этом докладе и связаться с докладчиками: https://portal.valencelabs.com/starkl...

Доклад: Самоспекулятивные маскированные диффузии

https://arxiv.org/abs/2510.03929

Аннотация: Мы представляем самоспекулятивные маскированные диффузии — новый класс генеративных моделей маскированной диффузии для дискретных данных, требующих значительно меньше вычислений функций для генерации выборок. Стандартные модели маскированной диффузии предсказывают факторизованные логиты по текущим маскированным позициям. Затем производится выборка нескольких маскированных позиций, однако приближение факторизации означает, что выборка слишком большого количества позиций за один раз приводит к низкому качеству выборки. В результате для получения высококачественных данных требуется много этапов моделирования и, следовательно, вычислений функций нейронной сети. Мы снижаем вычислительную нагрузку, генерируя нефакторизованные прогнозы по маскированным позициям. Это достигается путём изменения финальной маски внимания преобразователя с некаузальной на каузальную, что позволяет генерировать черновой токен и проводить параллельную валидацию с помощью нового, интегрированного в модель механизма спекулятивной выборки. Это приводит к нефакторизованному предиктивному распределению по замаскированным позициям за один прямой проход. Мы применяем наш метод к моделированию текста в масштабе GPT2 и генерации белковых последовательностей, обнаружив, что можем добиться примерно двукратного сокращения требуемого количества прямых проходов сети по сравнению со стандартными моделями маскированной диффузии.