DeepSeek V4 Flash: лучшая открытая модель, которую действительно можно запустить!

Описание: DeepSeek V4 Flash (официальная версия) в локальном режиме: бенчмарки, стоимость и настройка DGX Spark

Я тестирую официальную версию DeepSeek V4 Flash (выпуск от 31 июля) полностью локально и анализирую опубликованные DeepSeek бенчмарки, где она превосходит предыдущую предварительную версию V4 Pro/Flash и даже опережает более крупные модели, такие как GLM 5.2, приближаясь к Opus 4.8 при значительно меньшем размере. Я также объясняю, почему важны тестовые среды (включая агентскую среду DeepSeek и пример среды OpenAI) и выделяю внутренние результаты DS Bench. Я рассматриваю ценообразование (около 0,02 долл./млн входных токенов и ~0,30 долл./млн выходных токенов), эффективность токенов на кривой стоимости AI Index и результаты агентского кодирования, такие как Terminal Bench. Затем я демонстрирую запуск программ на основе открытого кода (энциклопедия покемонов и трекер Международного космического центра), показываю производительность ~20–30 токенов в секунду на двух DGX Spark в режиме FP4, обсуждаю контекстное окно размером 1 МБ, потребности в оборудовании/видеопамяти для 4-битного и 3-битного кодирования, а также такие варианты, как Dwarf Star для разгрузки SSD и смешанной точности.

Спасибо @NVIDIADeveloper за DGX Spark.

ССЫЛКА:
https://www.deepseek.com/en/
https://api-docs.deepseek.com/guides/...
https://github.com/antirez/ds4
https://x.com/UnslothAI/status/208323...
https://artificialanalysis.ai/#intell...
https://x.com/stevibe/status/20831200...

Видео:    • This 284B Model Shouldn't Fit On Your Lapt...  
Долгосрочные агенты:    • Stop Building AI Agents the Old Way  

Мое приложение для преобразования голоса в текст: whryte.com
Веб-сайт: https://engineerprompt.ai/
RAG Beyond Basics Курс:
https://prompt-s-site.thinkific.com/c...
Подпишитесь на рассылку localgpt:
https://tally.so/r/3y9bb0

0:00 - Введение в DeepSeek V4 Flash
0:55 - Шокирующие результаты бенчмарков и эффективность производительности
0:2:42 - Влияние оптимизированных жгутов проводов на производительность
0:4:23 - Ценообразование и «граница Парето» стоимости и интеллекта
0:5:04 - Запуск DeepSeek V4 Flash локально
0:7:20 - Живая демонстрация: агентное программирование и тест энциклопедии покемонов
0:8:34 - Живая демонстрация: трекер МКС с пользовательским интерфейсом в реальном времени
0:9:39 - Ограничения: текстовые и мультимодальные альтернативы
0:10:51 - Требования к оборудованию для локальной настройки
0:12:52 - Итоговые результаты и резюме