Кост-модель LLM: иллюзия простоты / Михаил Чебаков

Описание: На конференции «Я про бэкенд» Михаил Чебаков, руководитель разработки инструментальных ML-платформ Т-Банка, рассказал, какие инженерные сложности и компромиссы стоят за тем, чтобы спрятать всю сложность инференса LLM за простыми числами, и показал, как сделать измеримым то, что не всегда можно предсказать.

Больше полезных материалов про бэкенд: https://t.me/+aN8Rc-4YJtVlZWZi



#япробэкенд #яндекс #backend #бэкенд #архитектура #highload #инфраструктура #ml #ai #llm #yandextech #разработка #инженерия #devops #ydb #автотранспорт #алиса #рекомендации