Конец эры графических процессоров? 1-битные LLM уже здесь.

Описание: В этом видео я рассказываю об истории 1Bit (или Bitnet) и о полном прорыве в моделях 1Bit, достигнутом компанией PrismML, создавшей Bonsai.

Bonsai — это базовая серия моделей, обученных с нуля для новой архитектуры BitNet. Честно говоря, я не ожидал многого, но теперь я очень воодушевлен будущим локальных моделей LLM. В сочетании с TurboQuant... да, всё развивается стремительно, и я сейчас как никогда воодушевлен развитием локальных моделей.


*Ссылки*:
Статья о BitNet: https://arxiv.org/abs/2310.11453
Репозиторий BitNet - MSFT: https://github.com/microsoft/BitNet
Демонстрация BitNet: https://demo-bitnet-h0h8hcfqeqhrf5gf....

Модели Bonsai: https://huggingface.co/collections/pr...
PrismML: https://prismml.com/
Форк PrismML LLama.cpp: https://github.com/PrismML-Eng/llama.cpp

AnythingLLM: https://github.com/Mintplex-Labs/anyt...
1Bit llama.cpp с KV-сжатием: https://github.com/Mintplex-Labs/pris...

Разделы
0:00 Введение
1:20 Личное представление
1:55 Все начинается со статьи о BitNet
2:50 Репозиторий BitNet от Microsoft
4:00 Ограниченная доступность моделей
5:11 Попробуйте Bitnet сами
6:30 Сохраненный BitNet в PrismML
8:10 Что такое модели Bonsai?

9:46 Что в этом особенного?

12:25 Запуск модели 1Bit на вашем ПК
13:20 Как запускать модели Bonsai (форк llama.cpp)
15:00 Отправка наших первых чатов 1Bit
16:37 Давайте запустим более сложные задания...
18:00 Модель 1Bit создает PDF с помощью глубокого исследования
19:37 Модель 1Bit создает полноценную презентацию PowerPoint!!

22:22 Я потрясен — а вы что думаете?