Как и чем запустить LLM?

Описание: Список приложений от самых простых для запуска Больших Языковых Моделей на процессоре или видеокарте.
0llama — нет, потому что фигня.
1. KoboldCPP — https://github.com/LostRuins/koboldcpp
2. LM Studio — https://lmstudio.ai/
3. Llama.cpp — https://github.com/ggml-org/llama.cpp
4. oobabooga (text-generation-webui) — https://github.com/oobabooga/text-gen...
5. TabbyAPI (только RTX) — https://github.com/theroyallab/tabbyAPI
Вне конкурса: EVA — https://github.com/ylsdamxssjxxdd/eva

SillyTavern — https://github.com/SillyTavern/SillyT...
Open WebUI — https://openwebui.com/

Ролик содержит лишь самую базовую информацию.
Модели качаем с https://huggingface.co/ , формат gguf для всех или exl2/exl3 для обладателей RTX и установивших 4 или 5 приложение.