Мысли о 2-битной квантовании, IQ2_XXS, imatrix и квантовании DeepSeek от antirez
Автор: Donato Capitella
Загружено: 2026-10-05
Просмотров: 28396
Описание:
Видеоблог о прогулке из Гринвича, посвященный тому, почему 2-битное квантование может оставаться полезным, несмотря на понятный скептицизм по отношению к нему. В обсуждении рассматриваются точность смешанных тензоров, локальные группы весов и масштабы, шаблоны величины IQ2_XXS и матрица важности, используемая во время квантования.
Временные метки
00:00 - Комментарии по квантизации и мой собственный скептицизм
02:17 - Не каждый вес квантуется до двух бит
04:16 - Размер модели, избыточность и обучение
05:26 - Локальные группы весов, масштабы и реконструкция
06:54 - IQ2_XXS: шаблоны величины восьми весов
10:26 - матрица и выбор шаблонов с учетом важности
12:22 - Текущие сравнения Terminal и Bench
13:59 - Выборка и практическое поведение модели
14:24 - Заключительные мысли
Ссылки и ресурсы
dwarfstar: https://github.com/antirez/ds4
Обсуждение проектирования квантизации IQ: https://github.com/ggml-org/llama.cpp...
инструмент матрицы важности llama.cpp: https://github.com/ggml-org/llama.cpp...
Terminal-Bench: https://www.tbench.ai/
Инструментарии Strix Halo: https://strix-halo-toolboxes.com
Поддержите меня, купив мне кофе: https://buymeacoffee.com/dcapitella
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: