3/4/26 Основной доклад: Будущее языковых моделей: за пределами параметрических знаний и прогнозир...

Описание: Основной доклад: Килиан Вайнбергер, профессор компьютерных наук, Корнельский университет

Доминирующая парадигма в языковом моделировании — масштабирование предсказания следующего токена и параметрическое хранение знаний — обеспечила впечатляющие возможности, но также и фундаментальные ограничения: хрупкую и непрозрачную фактическую память, неэффективное использование параметров и по своей сути близорукое рассуждение. В этом докладе мы утверждаем, что прогресс за пределами современных языковых моделей требует перехода от параметрической памяти к внешней памяти и от чисто авторегрессивной генерации к архитектурам, которые проводят глобальное рассуждение, прежде чем приступить к определению токенов. Мы обобщаем три недавних направления, которые в совокупности подтверждают это утверждение. Во-первых, языковые модели с ограниченной памятью показывают, что фактические знания могут быть систематически вынесены за пределы памяти во время предварительного обучения, что приводит к созданию моделей, которые являются более управляемыми, проверяемыми и параметрически эффективными без ущерба для языковой компетенции. Во-вторых, языковые модели, дополненные латентной диффузией, демонстрируют, как планирование в непрерывном латентном пространстве может преодолеть ограничения предвидения и согласованности предсказания следующего токена, существенно улучшая рассуждение и глобальную согласованность. В-третьих, генерация на основе диффузии обеспечивает поиск с учетом траектории, где промежуточные состояния шумоподавления динамически уточняют доступ к внешним знаниям, тесно связывая генерацию с учетом неопределенности с эффективным многошаговым поиском. В совокупности эти результаты указывают на новый класс языковых моделей, которые рассматривают параметры как вычисления, а не как хранение, интегрируют внешнюю память в качестве первоклассного компонента и заменяют близорукую генерацию токенов по одному на обдуманное, глобально структурированное рассуждение.

Биография основного докладчика: Килиан К. Вайнбергер — профессор кафедры компьютерных наук Корнельского университета. Он получил докторскую степень в области машинного обучения в Университете Пенсильвании под руководством Лоуренса Сола, а также степень бакалавра в области математики и вычислительной техники в Оксфордском университете.

За свою карьеру он неоднократно получал награды за лучшие статьи на конференциях ICML (2004), CVPR (2004, 2017), AISTATS (2005) и KDD (2014, второе место). В 2011 году он был удостоен награды AAAI за выдающиеся достижения в качестве старшего руководителя программы, а в 2012 году получил грант NSF CAREER. Он является лауреатом премии Daniel M Lazar '29 за выдающиеся достижения в преподавании (2016) и премии Ann S. Bowers за выдающиеся достижения в преподавании и консультировании (2024).

По состоянию на 2024 год он является членом ACM и AAAI, а в 2021 году стал финалистом Национальной премии Блаватника. Он был избран сопредседателем программного комитета ICML 2016 и AAAI 2018, а также является членом совета ICML с 2016 года. Он занимал пост 7-го президента ICML с 2023 по 2025 год. С 2024 года он является членом отборочного комитета стипендий Слоуна.

Исследования Килиана Вайнбергера сосредоточены на машинном обучении и его приложениях. В частности, он работал над обучением в условиях ограниченных ресурсов, метрическим обучением, искусственным интеллектом в науке, компьютерным зрением, автономными транспортными средствами, гауссовскими процессами и глубоким обучением. До прихода в Корнельский университет он был доцентом в Вашингтонском университете в Сент-Луисе, а до этого работал научным сотрудником в Yahoo! Research в Санта-Кларе.

Веб-сайт: https://www.cs.cornell.edu/~kilian/