Lec 18 | Сжатие модели

Описание: Как уменьшить размер и ускорить развёртывание больших языковых моделей? Один из самых эффективных способов — это сокращение (pruning)! В этой лекции, посвящённой сжатию моделей, от 11 сентября 2025 года мы рассмотрим искусство удаления избыточных компонентов из нейронной сети без существенной потери производительности. Мы рассмотрим фундаментальные концепции, от простого сокращения по величине до важного различия между неструктурированными и структурированными подходами. Мы также подробно рассмотрим передовые методы одноразового сжатия, такие как SparseGPT и SliceGPT, которые позволяют эффективно сжимать даже самые большие языковые модели. ✂️

Ресурсы 📚
Слайды и другие материалы курса доступны на сайте: Сайт курса (lcs2.in/llm2501)

Рекомендуемая литература 📖
Изучение весов и связей для эффективных нейронных сетей (https://arxiv.org/abs/1506.02626)
SparseGPT: Массивные языковые модели можно точно обрезать за один проход (https://arxiv.org/abs/2301.00774)
SliceGPT: Сжатие больших языковых моделей путем удаления строк и столбцов (https://arxiv.org/abs/2401.15024)
Вы обрезаете только один раз: Разработка сжатия моделей без калибровки с помощью обучения политикам (https://arxiv.org/abs/2501.15296)

#Сжатие моделей #Сокращение #SparseGPT #LLM #DeepLearning #EfficientAI #AI