Как установить llama.cpp на Linux | Запуск LLM локально 🤖🐧
Автор: World of Linux
Загружено: 2026-09-25
Просмотров: 1516
Описание:
Хотите запускать модели LLM локально на Linux, не прибегая к облачным сервисам ИИ? 🤖🐧
В этом видео я покажу вам, как установить llama.cpp на Linux, собрать его из исходного кода и запустить модель GGUF прямо из терминала.
llama.cpp — это фреймворк с открытым исходным кодом для локального запуска моделей LLM. Официальный проект предоставляет варианты установки для Linux, включая менеджеры пакетов, предварительно собранные бинарные файлы, Docker и сборку из исходного кода.
🔥 В этом видео:
Установка llama.cpp в Linux
Установка необходимых инструментов сборки
Клонирование llama.cpp с GitHub
Сборка llama.cpp с помощью CMake
Запуск локальной модели GGUF
Загрузка модели непосредственно с Hugging Face
Запуск сервера llama.cpp
Использование локального API, совместимого с OpenAI
3. Используемые команды
Для Ubuntu/Debian:
sudo apt update
sudo apt install -y git cmake build-essential
Клонирование официального репозитория:
git clone https://github.com/ggml-org/llama.cpp...
cd llama.cpp
Сборка llama.cpp:
cmake -B build
cmake --build build --config Release
Запуск локальной модели GGUF:
./build/bin/llama-cli -m /path/to/model.gguf
#llamaCpp #Linux #LocalAI #LLM #LocalLLM #AI #LinuxAI #GGUF #AIModels #opensourceai
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: