Латентные рассуждения ИИ: Sep-Latent сжатие токенов

Описание: Применяя прогрессивную маску затухания внимания, которая избирательно подавляет внимание к промежуточным токенам рассуждений во время обучения, Sep-Latent заставляет трансформер сжимать многошаговые логические состояния в структурные разделительные якоря и выравнивает эти сжатые состояния с непрерывным потоком скрытых данных, спроецированным на многослойный перцептрон, посредством евклидовой самодистилляции всех слоев.

В сочетании с динамическим выходным затвором LM-головы, который автономно завершает бесшумные вычисления в зависимости от сложности запроса, Sep-Latent удерживает скрытые векторы на многообразии словаря, сокращает объем памяти GPU для обучения более чем на 50% и достигает точности 56,8% на GSM8k-Aug, используя в среднем всего 5,4 токена; превосходя как явный CoT (при почти 5-кратном сжатии токенов), так и современные неявные базовые модели по точности, скорости и символической устойчивости.

Все права принадлежат авторам:
Sep-Latent: Разделительные токены как естественные якоря сжатия
для неявного рассуждения
Иньлун Сюй1,2, Цзяньфэн Хуан2, Чжэндун Чжоу2, Минцзе Линь2
Фуюй Лю2, Дан Оу2, Хунся Сюй1*, Цзянь У1*
из
1 Колледж компьютерных наук и технологий, Чжэцзянский университет, Ханчжоу, Китай
2 Alibaba Group, Ханчжоу, Китай
arXiv:2610.22924

#aiexplained
#discoverai
#airesearch