Уроки с передовой: создание оценочных программ LLM, которые работают в реальной жизни: Апарна Дхи...

Описание: В этом году, когда почти две трети корпоративных разработчиков планируют внедрение крупных языковых моделей в производство, оценка LLM важна как никогда. Оценка LLM также является областью, где царит путаница, начиная с неопределенности в отношении того, что вообще означает «оценка LLM». Зачастую оценка модели LLM – количественная оценка общей пригодности (например, в рейтинге Hugging Face) – путается с оценкой системы LLM для конкретной задачи. И хотя многие поставщики базовых моделей предлагают собственные оценки, инженерам ИИ, создающим системы LLM, предназначенные для интеграции со многими моделями или инструментами, необходим способ объективной оценки как различных базовых моделей, так и своих собственных систем с использованием строгих методов. В рамках этой сессии основательница Arize AI Апарна Дхинакаран представит на сцене результаты своего исследования и продемонстрирует участникам реальные примеры создания оценки LLM с нуля. Эта сессия будет основана на нескольких исследовательских работах, собравших миллионы просмотров на социальных платформах, и будет посвящена методам создания надежных оценок LLM и, в конечном итоге, более глубокому пониманию ограничений возможностей LLM. Хотите создать собственную оценку задач LLM для конкретного варианта использования, используя инструменты с открытым исходным кодом? Хотите ознакомиться с последними исследованиями о том, какие базовые модели следует использовать вашей компании для конкретных вариантов использования? Не пропустите эту сессию!

Запись прямой трансляции в Сан-Франциско на Всемирной выставке AI Engineer World's Fair. Полное расписание выступлений доступно по ссылке https://www.ai.engineer/worldsfair/20.... Присоединяйтесь к нам на Всемирной выставке AI Engineer World's Fair в 2025 году! Приобретайте билеты уже сегодня по ссылке https://ai.engineer/2025

Об Апарне
Апарна Дхинакаран — соучредитель и директор по продукту компании Arize AI, пионера и одного из первых лидеров в области наблюдаемости ИИ и оценки LLM. Дхинакаран — частый докладчик на ведущих конференциях и признанный лидер в этой области, а также лауреат рейтинга Forbes «30 Under 30». До Arize Дхинакаран работала инженером и руководителем машинного обучения в Uber, Apple и TubeMogul (приобретённой Adobe). За время работы в Uber она разработала несколько основных платформ машинного обучения, включая Michelangelo. Она получила степень бакалавра в программе Беркли по электротехнике и информатике, где опубликовала исследование, выполненное совместно с исследовательской группой Беркли по искусственному интеллекту. Сейчас она находится в академическом отпуске по программе докторантуры по компьютерному зрению в Корнеллском университете.