Как Together AI использует полный стек NVIDIA для получения ИИ-ответов менее чем за 100 мс

Описание: Дэн Фу, вице-президент Together AI по ядрам, объясняет, как Together AI использует графические процессоры NVIDIA для получения ответов от ИИ менее чем за 100 миллисекунд, достигая при этом одних из самых низких в отрасли затрат токенов. От разработки мегаядра, которое помещает всю модель в одно ядро ​​CUDA, до обеспечения работы голосовых агентов реального времени, возвращающих первые 64 слова менее чем за 100 миллисекунд, Together AI сосредоточена на минимизации задержки на каждом уровне стека ИИ.

Узнайте, как Together AI использует NVIDIA CUDA, TensorRT-LLM, Together ATLAS и NVIDIA Blackwell для обеспечения масштабируемого вывода в реальном времени. Фу также рассказывает, как Together AI помогла Cursor ускорить путь от оптимизации модели до готовых к производству конечных точек вывода с использованием NVIDIA TensorRT-LLM на Blackwell, обеспечив быстрый и отзывчивый процесс кодирования.

Он также рассказывает об ATLAS (Adaptive-LeArning Speculator System), которая динамически адаптирует модели к изменяющимся моделям трафика и рабочей нагрузки, и объясняет, почему программный стек NVIDIA, включая CUDA, CUTLASS, Dynamo и TensorRT-LLM, является основополагающим для инфраструктуры Together AI. Заглядывая в будущее, Фу обсуждает энтузиазм команды по поводу NVIDIA Vera Rubin как платформы для следующего поколения приложений ИИ с длительным контекстом и сверхнизкой задержкой.

Подробнее в блоге: https://blogs.nvidia.com/blog/inferen...

https://www.together.ai/customers/cursor