DeepSeek только что выложили в открытый доступ свой «секретный ингредиент»: DeepInfer

Описание: DeepSeek открыла исходный код DeepInfer, механизма вывода результатов, используемого в производственной среде для поддержки Flash-приложений версии 4.1 под управлением Apache 2. Ям Пелег говорит, что «они сломали интернет», и объясняет, почему стек технологий имеет большее значение, чем кажется. LDJ и Алекс разбирают, что в нём содержится и чего в нём не хватает.


📄 Примечания к выпуску + все ссылки: https://thursdai.news/oct-22#deepseek
▶️ Полный выпуск (видео + подкаст): https://thursdai.news/oct-22

Что в этом фрагменте:
• DeepInfer: лицензия Apache 2, работает на NVIDIA Blackwell и Huawei Ascend 950, имеет собственное спекулятивное декодирование и пакетный вывод
• Тим Деттмерс, переданный Алексом: на одном уровне с производственным механизмом вывода OpenAI и лучше, чем то, что работает в Anthropic, по крайней мере, в масштабе пользователя
• Недостаток: пока нет системы кэширования ключ-значение или предварительной декомпозиции декодирования. SemiAnalysis измерила vLLM с точностью до 6% от его пропускной способности декодирования
• Ям Пелег: улучшенное выполнение инференса означает обслуживание большего числа пользователей на том же оборудовании и сохранение прибыли для себя
• Новая контрольная точка Flash V4.1: Terminal Bench 4 переходит с 31 на 42, по-прежнему под лицензией MIT

Разделы:
0:00 DeepSeek открывает исходный код своего механизма инференса
0:34 Новая контрольная точка Flash DeepSeek V4.1, по-прежнему под лицензией MIT
2:54 Граница Парето стоимости и поиск DeepSeek
4:03 DeepInfer: Apache 2, Blackwell и Ascend 950
4:43 Тим Деттмерс о DeepInfer против OpenAI и Anthropic
5:21 Ям Пелег: в этом секретный ингредиент
6:54 Модель была открытой, теперь и стек инференса тоже

🎙️ ThursdAI — еженедельное шоу новостей об ИИ в прямом эфире с Алексом Волковым.

Следующая передача: прямой эфир в четверг, 29 октября, в 8:30 утра по тихоокеанскому времени.

🔔 Подписывайтесь везде:
YouTube: https://thursdai.news/yt
Spotify: https://thursdai.news/spotify
Apple Podcasts: https://thursdai.news/apple
Рассылка новостей: https://thursdai.news/sub
👥 В этом ролике:
Алекс Волков, ведущий: https://x.com/altryne
LDJ: https://x.com/ldjconfirmed
Ям Пелег: https://x.com/yampeleg

Представлено CoreWeave.

#DeepSeek #OpenSource #ThursdAI