Будущее ИИ-серверов: у этого 9,3 ТБ памяти | Positron

Описание: Если у вас возникают проблемы с эффективным запуском трансформерных моделей в производственной среде, это полезное объяснение того, почему, по мнению Positron AI, узким местом является не только вычислительная мощность, но и память.

В этом интервью Positron объясняет, как их серверы для вывода Atlas уже поставляются, почему компания создала архитектуру с приоритетом памяти для вывода трансформеров и как ее система Titan следующего поколения и чип Asimov призваны значительно повысить длину контекста, размер модели и эффективность вывода.

00:00 Почему производительность инференции достигает предела
00:38 Почему Positron фокусируется на инференции, а не на обучении
01:18 Почему память важнее вычислительных ресурсов
02:20 Длина контекста, генерация кода и генерация видео
03:25 Концепция «мозга Positron»
04:05 Что разработчики на самом деле получают от Positron
05:08 Объяснение Atlas, Titan и Asimov
06:22 Почему Positron запустил Atlas с FPGA
07:23 Дорожная карта сервера Titan и чипа Asimov
08:25 Развертывание и программный поток, совместимые с OpenAI
09:15 Что технически отличает Positron
10:08 Где найти Positron и как попробовать Atlas

• Новейшие прорывные технологии, готовые к оценке для вашего следующего проекта: https://ipxchange.tech/
• Присоединяйтесь к сообществу ipX: https://ipxchange.tech/sign-up/
• Отправляйте свои собственные электронные проекты: https://ipxchange.tech/projects/
• Подписывайтесь на нас в LinkedIn:   / ipxchangeltd  

Узнайте больше об ipXchange здесь: https://ipxchange.tech/about/