Как работает он-полиси дистилляция (On-Policy Self-Distillation) — Саша Раш

Описание: Недавно я познакомился с Сашей Рашем, и он начал импровизированную лекцию о том, как работает целевая самодистилляция на основе политики.

Я спросил его, могу ли я записать её на свой iPhone.

Основная идея такова: если модель допустила ошибку на каком-то этапе развертывания (например, вызвала инструмент, которого не существует), мы хотим предотвратить эту конкретную ошибку, но мы не хотим учиться только на итоговом вознаграждении, потому что это очень шумный сигнал, распределенный по всей траектории.

Поэтому у нас есть другая модель, которая считывает эту траекторию и определяет, где была допущена ошибка. Она просто вставляет несколько токенов-подсказок в ту часть траектории, которая находится непосредственно над местом ошибки.

Теперь, имея эти внедренные токены-подсказки, модель выполняет прямой проход. Вам не нужно заново генерировать развертывание — то есть, не требуется новое декодирование.

Подсказка заставляет модель присваивать более низкие вероятности токенам ошибок. Затем вы обучаете исходную модель сопоставлять эти новые вероятности, учая ее снижать значимость именно этой ошибки.