Запустите Deepseek локально: руководство для начинающих
Автор: ServersatHome
Загружено: 2025-02-06
Просмотров: 5821
Описание:
В этом видео показано, как развернуть два контейнера из каталога TrueNAS Electric Eel 24.10: Ollama и Open WebUI. Эти контейнеры работают в тандеме, локально эмулируя работу ChatGPT. Ollama — это движок, который локально запускает модели ИИ (в данном случае Deepseek-R1), а Open WebUI — это веб-интерфейс для взаимодействия через API с бэкендом Ollama.
Примечание: убедитесь, что у вас мощное оборудование для использования этих контейнеров. Запуск ИИ — чрезвычайно ресурсоёмкая задача, требующая мощного графического процессора.
Чтобы посмотреть использование графического процессора в оболочке, выполните команду: watch -n 0.5 nvidia-smi
спасибо @lucas444719
Инструкции в вики: https://wiki.serversatho.me/en/localai
Каталог моделей для Ollama: https://ollama.com/library
Ещё больше моделей: https://huggingface.co/models
/ serversathome
0:00 Введение
1:09 Создание наборов данных
2:10 Установка Ollama
3:29 Установка Open WebUI
4:40 Настройка Open WebUI
5:05 Подключение к бэкенду Ollama
5:45 Добавление моделей
7:53 Генерация ответов с подтверждением использования графического процессора
9:30 Пример требований к хранилищу
10:05 Заключение
Хотите поблагодарить? https://buymeacoffee.com/serversathome
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке:
