Exploiting Similarity in Federated Learning

Автор: Simons Institute for the Theory of Computing

Загружено: 2026-02-25

Просмотров: 27

Описание: Sebastian Stich (CISPA)
https://simons.berkeley.edu/talks/seb...
Learning from Heterogeneous Sources

We provide a brief introduction to local update methods developed for federated optimization and discuss their worst-case complexity. Surprisingly, these methods often perform much better in practice than predicted by theoretical analyses using classical assumptions. Recent years have revealed that their performance can be better described using refined notions that capture the similarity among client objectives. In this talk, we introduce a generic framework based on a distributed proximal point algorithm, which consolidates many of our insights and allows for the adaptation of arbitrary centralized optimization algorithms to the convex federated setting, including accelerated variants. Our theoretical analysis shows that the derived methods enjoy faster convergence when the degree of similarity among clients is high.
Based on joint work with Xiaowen Jiang and Anton Rodomanov.

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...

Exploiting Similarity in Federated Learning

Доступные форматы для скачивания:

Скачать видео

Информация по загрузке:

Скачать аудио

Похожие видео

FlexOlmo: Open Language Models for Flexible Data Use

FlexOlmo: Open Language Models for Flexible Data Use

Federated, Synthetic, Personalized: Heterogeneity Here or There?

Federated, Synthetic, Personalized: Heterogeneity Here or There?

Learning from multiple modalities, Predicting on unseen tasks

Learning from multiple modalities, Predicting on unseen tasks

The Statistical Fairness-Accuracy Frontier

The Statistical Fairness-Accuracy Frontier

"Математика и законы природы" Сергей Попов

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Электрон это не то что все думают! Вот как он выглядит на самом деле

Электрон это не то что все думают! Вот как он выглядит на самом деле

Privacy versus Robustness in Federated Learning: Limits and Algorithms

Privacy versus Robustness in Federated Learning: Limits and Algorithms

On continual learning with gradient descent for neural networks

On continual learning with gradient descent for neural networks

Шульман: Почему держится режим в Иране, был ли Хаменеи легитимным и Трамп vs Вестфальская система

Шульман: Почему держится режим в Иране, был ли Хаменеи легитимным и Трамп vs Вестфальская система

Дороничев: ИИ — пузырь, который скоро ЛОПНЕТ. Какие перемены ждут мир?

Дороничев: ИИ — пузырь, который скоро ЛОПНЕТ. Какие перемены ждут мир?

Scale Learning and Reasoning Across Heterogeneous Gradients and Semantics

Scale Learning and Reasoning Across Heterogeneous Gradients and Semantics

Альтермагнетики: новый вид магнетизма или хайп? – Семихатов, Перов

Альтермагнетики: новый вид магнетизма или хайп? – Семихатов, Перов

Symbiotic Relations between Decoupled Training, Optimization, and Federated Learning

Symbiotic Relations between Decoupled Training, Optimization, and Federated Learning

Personalized Collaborative Learning with Affinity-Based Variance Reduction

Personalized Collaborative Learning with Affinity-Based Variance Reduction

Privacy Amplification from Structured Algorithmic Randomness

Privacy Amplification from Structured Algorithmic Randomness

Минералы наши минералы, Сергей Кривовичев, Нестандартная модель #8

Минералы наши минералы, Сергей Кривовичев, Нестандартная модель #8

Фильм Алексея Семихатова «ГРАВИТАЦИЯ»

Фильм Алексея Семихатова «ГРАВИТАЦИЯ»

The Question Nobody Ever Explains: Where Does the Kernel End?

The Question Nobody Ever Explains: Where Does the Kernel End?

Privacy of Decentralized Machine Learning

Privacy of Decentralized Machine Learning