Inferact: Создание инфраструктуры, обеспечивающей работу современного искусственного интеллекта.

Описание: Inferact — это новая компания, занимающаяся инфраструктурой ИИ, основанная создателями и основными разработчиками vLLM. Ее миссия — создать универсальный, открытый слой для вывода результатов, который сделает работу больших моделей ИИ быстрее, дешевле и надежнее на любом оборудовании, архитектуре модели или среде развертывания. Вместе они подробно рассказали о том, как современные модели ИИ работают в производственной среде, почему «вывод результатов» незаметно стал одной из самых сложных проблем в инфраструктуре ИИ, и как появился проект с открытым исходным кодом vLLM для ее решения. В ходе беседы также обсуждались причины создания Inferact командой vLLM и их видение универсального слоя для вывода результатов, способного эффективно запускать любую модель на любом чипе.

Временные метки:
00:00 — Введение
11:41 — Сообщество и сотрудничество в vLLM
19:19 — Понимание механизмов вывода
24:27 — Масштабирование кластера и развертывание GPU
31:19 — Вера в ИИ с открытым исходным кодом
35:45 — Основание Inferact
40:00 — Будущее вывода в масштабе

Полную расшифровку можно прочитать здесь: https://www.a16z.news/s/podcast

Подписывайтесь на Мэтта Борнштейна в X:   / bornsteinmatt  
Подписывайтесь на Саймона Мо в X:   / simon_mo_  
Подписывайтесь на Вусука Квона в X:   / woosuk_k  
Подписывайтесь на vLLM в X:   / vllm_project  

Будьте в курсе событий:

Если вам понравился этот эпизод, обязательно поставьте лайк, подпишитесь и поделитесь им со своими друзьями Друзья!

Найдите a16z на X: [https://x.com/a16z](https://x.com/a16z)

Найдите a16z на LinkedIn: [  / a16z  ](  / a16z  )

Слушайте подкаст a16z на Spotify: [https://open.spotify.com/show/5bC65RD...](https://open.spotify.com/show/5bC65RD...)

Слушайте подкаст a16z на Apple Podcasts: [https://podcasts.apple.com/us/podcast...](https://podcasts.apple.com/us/podcast...)

Подписывайтесь на нашего ведущего: [https://x.com/eriktorenberg](https://x.com/eriktorenberg)

Обратите внимание, что представленная здесь информация носит исключительно информационный характер; она НЕ должна рассматриваться как юридическая, деловая, налоговая или инвестиционная консультация, а также не должна использоваться для оценки каких-либо инвестиций или ценных бумаг; и не предназначена для инвесторов или потенциальных инвесторов в какие-либо фонды a16z. a16z и ее аффилированные лица могут иметь инвестиции в обсуждаемые компании. Для получения более подробной информации см. [a16z.com/disclosures](http://a16z.com/disclosures).