Почему работает посттренировочная квантование? (Сентябрь 2026)
Автор: AI Paper Slop
Загружено: 2026-09-14
Просмотров: 151
Описание:
Название: Почему постобучающая квантизация работает? (Сентябрь 2026 г.)
Ссылка: https://arxiv.org/abs/2609.11716
Дата: 10 сентября 2026 г.
Краткое содержание:
В этой статье объясняется, почему предварительно обученные большие языковые модели остаются устойчивыми после постобучающей квантизации, несмотря на накопление ошибок весов на уровне слоев. Выделены два механизма: предварительно обученные блоки Transformer противодействуют унаследованным ошибкам скрытого состояния, замедляя их рост, в то время как высокоразмерная геометрия головы языкового модуля предпочтительно сохраняет оценки и вероятности для токенов с наивысшим рейтингом. Эксперименты с различными моделями, методами квантизации и форматами подтверждают оба механизма.
Основные темы:
Квантование LLM после обучения
Распространение скрытых ошибок и противодействие им
Геометрия головки LM и стабильность ранжирования токенов
Главы:
00:00 - Объяснение устойчивости квантования
01:05 - Основной тезис статьи
02:04 - Почему сходство весов не работает
03:41 - Коллапс случайных моделей
04:27 - Механизм противодействия
06:38 - Динамическое подавление ошибок
08:28 - Вмешательство с помощью противодействия
10:18 - Рассуждения усиливают ошибку
12:42 - Вращение скрытого состояния
13:37 - Высокоразмерное поглощение ударов
15:21 - Предпочтительное сохранение токенов
17:23 - Практические последствия квантования
18:22 - Обучение более устойчивых моделей
19:30 - Заключение Основные выводы
Источники стоковых видео:
Chandresh Uike - https://www.pexels.com/@chandresh-uik...
MrColo - https://www.pexels.com/@mrcolo-12653218
Shutter Break - https://www.pexels.com/@shutterbreak
Nicola Narracci - https://www.pexels.com/@nicola-narrac...
ALL IZ Well - https://www.pexels.com/@all-iz-well-3...
Atakan Ozkan - https://www.pexels.com/@atakan-ozkan-...
Tima Miroshnichenko - https://www.pexels.com/@tima-miroshni...
Pressmaster - https://www.pexels.com/@pressmaster
khezez | خزاز - https://www.pexels.com/@khezez
ред бр - https://www.pexels.com/@ed-br-1727831108
студия Cottonbro - https://www.pexels.com/@cottonbro
К - https://www.pexels.com/@kelly
Доминик Зитка - https://www.pexels.com/@dominik-zitka...
МАРТ ПРОДАКШН - https://www.pexels.com/@mart-production
Клаудиу Чобану - https://www.pexels.com/@claudiuciobanu
Google DeepMind - https://www.pexels.com/@googledeepmind
Pixabay - https://www.pexels.com/@pixabay
Колин Джонс - https://www.pexels.com/@larchmedia
Top5Way Agency - https://www.pexels.com/@top5way
crazy motions - https://www.pexels.com/@crazy-motions...
Jakub Zerdzicki - https://www.pexels.com/@jakubzerdzicki
Milos Jevtic - https://www.pexels.com/@jevtajevtic7
olia danilevich - https://www.pexels.com/@olia-danilevich
Max Fischer - https://www.pexels.com/@max-fischer
www.kaboompics.com - https://www.pexels.com/@karola-g
Magda Ehlers - https://www.pexels.com/@magda-ehlers-...
Vlada Karpovich - https://www.pexels.com/@vlada-karpovich
Монстера Продакшн - https://www.pexels.com/@gabby-k
Сезар Гонсало Фуэнзалида - https://www.pexels.com/@cesar-gonzalo...
StefWithAnF - https://www.pexels.com/@stefwithanf-1...
Энгин Акюрт - https://www.pexels.com/@enginakyurt
Данил Шостак - https://www.pexels.com/@danil-shostak...
Танапат Кампарн - https://www.pexels.com/@nakaraj5965
Рон Лак - https://www.pexels.com/@ron-lach
Стив Б - https://www.pexels.com/@steve-b-473063
Агентство Route4Design - https://www.pexels.com/@route4design-...
Коверр - https://www.pexels.com/@coverr
Студия ArtHouse - https://www.pexels.com/@arthousestudio
Юсуф Кылинч - https://www.pexels.com/@yusuf-kilinc-...
Пон Баладжи - https://www.pexels.com/@pon-balaji-88...
Ярослав Шураев - https://www.pexels.com/@yarlav-shuraev
Павел Данилюк - https://www.pexels.com/@pavel-danilyuk
ложные - https://www.pexels.com/@fauxels
РОМАН ОДИНЦОВ - https://www.pexels.com/@roman-odintsov
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: