Механизм вывода: создание ИИ, способного работать в масштабе | theCUBE + NYSE Wired: Фабрики ИИ

Описание: В этом интервью, подготовленном для theCUBE + NYSE Wired: AI Factories — Data Centers of the Future, Сид Шет, генеральный директор d-Matrix, вместе с Митешем Агравалом из Positron, Сэмом Авраби, основателем и генеральным партнером Banyan Ventures, и Феликсом Эджекамом, генеральным директором Akash Systems, обсуждают с Дэйвом Велланте из theCUBE, почему инференция стала определяющим полем битвы для вычислительных мощностей в сфере ИИ. Участники дискуссии рассматривают, как приобретение NVIDIA компанией Groq подтвердило многомиллиардный потенциал рынка инференции и почему ни одна архитектура не может обеспечить полный спектр рабочих нагрузок в крупных центрах обработки данных, небольших развертываниях и периферийных приложениях. Агравал указывает на скачок Anthropic с 2 миллиардов до 20 миллиардов долларов годовой выручки за 15 месяцев как на доказательство того, что генерация токенов уже стимулирует огромный спрос на вычислительные ресурсы.

В ходе беседы также рассматриваются критические ограничения, определяющие дальнейшее развитие отрасли. Эджекам демонстрирует, как компания Akash Systems применяет выращенный в лаборатории синтетический алмаз непосредственно на графических процессорах, снижая температуру на 10–15 градусов Цельсия и приближая эффективность энергопотребления к 1,0 без создания новой инфраструктуры. Шет подробно рассказывает о том, как компания d-Matrix намеренно обошла проблемы с поставками HBM и CoWos, построив свою платформу на основе SRAM, пользовательской DRAM и памяти LPDDR5. Участники дискуссии подчеркивают, что 60–70% общей стоимости владения оборудованием теперь приходится на энергопотребление, поэтому показатель эффективности «ватт-доллар» является наиболее важным для экономики инференции. От гетерогенных вычислений и чиплетных архитектур, масштабируемых от ядра до периферии, до геополитических рисков, угрожающих глобальным цепочкам поставок памяти, обсуждение предоставляет практическую основу для преодоления инфраструктурных ограничений, лежащих в основе эры инференции ИИ.

Больше новостей и аналитики SiliconANGLE на https://siliconangle.com/
Следите за полным освещением событий theCUBE на https://siliconangle.com/events/
Узнайте о последних событиях theCUBE на https://www.thecube.net/

00:00 - Эволюция вывода и отраслевые тенденции: подробный анализ роли ИИ на Суперкубке технологической индустрии
02:39 - Сложные рыночные условия и изменения
06:40 - Навигация по рыночной эволюции: инвестиционные стратегии в инфраструктуре ИИ
09:58 - Инновационное охлаждение с использованием синтетических алмазных материалов
12:52 - Энергетические ограничения и отраслевые проблемы
16:39 - Ограничения и инновации на рынке памяти
19:04 - Новые приложения на периферии
24:58 - Долгосрочное видение отрасли и прогнозы
30:39 - Заключительные перспективы в отношении ИИ: будущие вызовы и Размышления

#theCUBE #AIFactoriesDataCenters #theCUBEresearch #NYSEWired #AI #Inference #DataCenters