ycliper

Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
Скачать

Мысли о 2-битной квантовании, IQ2_XXS, imatrix и квантовании DeepSeek от antirez

Автор: Donato Capitella

Загружено: 2026-10-05

Просмотров: 28396

Описание: Видеоблог о прогулке из Гринвича, посвященный тому, почему 2-битное квантование может оставаться полезным, несмотря на понятный скептицизм по отношению к нему. В обсуждении рассматриваются точность смешанных тензоров, локальные группы весов и масштабы, шаблоны величины IQ2_XXS и матрица важности, используемая во время квантования.

Временные метки
00:00 - Комментарии по квантизации и мой собственный скептицизм
02:17 - Не каждый вес квантуется до двух бит
04:16 - Размер модели, избыточность и обучение
05:26 - Локальные группы весов, масштабы и реконструкция
06:54 - IQ2_XXS: шаблоны величины восьми весов
10:26 - матрица и выбор шаблонов с учетом важности
12:22 - Текущие сравнения Terminal и Bench
13:59 - Выборка и практическое поведение модели
14:24 - Заключительные мысли

Ссылки и ресурсы
dwarfstar: https://github.com/antirez/ds4
Обсуждение проектирования квантизации IQ: https://github.com/ggml-org/llama.cpp...
инструмент матрицы важности llama.cpp: https://github.com/ggml-org/llama.cpp...
Terminal-Bench: https://www.tbench.ai/
Инструментарии Strix Halo: https://strix-halo-toolboxes.com
Поддержите меня, купив мне кофе: https://buymeacoffee.com/dcapitella

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...
Мысли о 2-битной квантовании, IQ2_XXS, imatrix и квантовании DeepSeek от antirez

Поделиться в:

Доступные форматы для скачивания:

Скачать видео

  • Информация по загрузке:

Скачать аудио

Похожие видео

© 2025 ycliper. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]