Распределённое и децентрализованное обучение — Цэ Чжан | Stanford MLSys #68

Описание: 68-й выпуск семинара Стэнфордского университета MLSys «Foundation Models Limited Series»!

Докладчик: Цэ Чжан

Аннотация:
Быстрый прогресс машинного обучения в последнее десятилетие был обусловлен растущим объёмом данных и вычислительных мощностей. Современные алгоритмы обучения часто требуют больших объёмов обмена данными, поэтому обучение крупномасштабных моделей преимущественно происходит в централизованной среде, например, в центрах обработки данных с быстрыми сетевыми соединениями. Эта сильная зависимость от быстрых соединений становится ограничивающим фактором дальнейшего масштабирования не только в условиях центров обработки данных, но и в альтернативных децентрализованных инфраструктурах, таких как точечные инстансы и геораспределенные добровольные вычисления. В этом докладе я расскажу о наших исследованиях в области коммуникационно-эффективного распределённого обучения и наших текущих усилиях по обучению базовых моделей децентрализованным способом.

Биография:
Цэ — доцент кафедры компьютерных наук в Швейцарской высшей технической школе Цюриха. Цель его исследований — сделать методы машинного обучения широкодоступными, при этом экономически эффективными и надёжными, для всех, кто хочет использовать их, чтобы сделать наш мир лучше. Он верит в системный подход к достижению этой цели, и его текущие исследования сосредоточены на создании платформ и систем машинного обучения нового поколения, ориентированных на данные, ориентированных на человека и декларативно масштабируемых. До прихода в ETH Си получил докторскую степень в Висконсинском университете в Мадисоне и проработал ещё год в качестве постдокторанта в Стэнфорде под руководством Кристофера Ре. Его работы получили признание, включая награды SIGMOD за лучшую статью, SIGMOD Research Highlight Award, Google Focused Research Award и грант ERC Starting Grant, а также были представлены и освещены в журналах Science, Nature, Communications of the ACM и различных СМИ, таких как Atlantic, WIRED, Quanta Magazine и др.

Расписание встреч смотрите на нашем сайте: http://mlsys.stanford.edu
Подпишитесь на нашу рассылку, чтобы получать еженедельные обновления: https://groups.google.com/forum/#!for...