Непрерывное обучение V2

Описание: Непрерывное обучение — невероятно актуальная тема в 2026 году, и это прекрасно, потому что (как и в случае с сознанием) почти никто не может прийти к единому мнению о том, о чём мы вообще говорим.

Именно поэтому в начале этого года я пообщался с Илией из группы Prime Intellect, чтобы обсудить его взгляды на эту тему, наслаждаясь его лучезарным энтузиазмом!

👉 Сайт Илии: https://ilijalichkovski.github.io
👉 Twitter: https://x.com/carnot_cyclist
👉 Определение непрерывного обучения (основная статья): https://x.com/carnot_cyclist/status/2...

Содержание:
00:00:00 - что же такое непрерывное обучение?

00:01:45 - Образование Илии в области физики, безопасности ИИ, машинного обучения
00:08:05 - Презентация о непрерывном обучении с нуля
00:12:08 - Временной компонент в машинном обучении против органического обучения
00:17:30 - Три разновидности инкрементального обучения
00:20:10 - Пять желаемых аспектов непрерывного обучения
00:23:10 - Общая емкость, которая должна оставаться неизменной в непрерывном обучении?

00:32:40 - Метод воспроизведения в машинном обучении
00:36:10 - Семейство методов регуляризации
00:38:00 - Методы метаобучения
00:43:50 - Метод гиперсетей
00:46:25 - Эксперимент с гиперсетью
00:48:45 - «Что такое гиперсеть?»

00:49:35 - гиперсеть на Split-MNIST
01:02:18 - эксперименты по композиционному обобщению
01:10:45 - бенчмарк непрерывного обучения должен быть независимым от метода
01:13:25 - об обобщении LLM от контекстного обучения к тонкой настройке
01:17:07 - дополнительные эксперименты с самообучением
01:19:18 - эксперименты OPSD против GRPO с Qwen3-8B
01:21:55 - изучение различных связанных (или несвязанных) тем
01:28:20 - проблема, сформированная открытием
01:30:40 - что дальше для Илии

Приятного просмотра! 🌹

Статьи и блоги:
Преодоление классических проблем искусственных нейронных сетей путем предоставления стимулов и практики | https://arxiv.org/abs/2410.10596
Три типа инкрементального обучения | https://www.nature.com/articles/s4225...
Нейроны in vitro обучаются и проявляют разумность, будучи воплощенными в смоделированном игровом мире (Cortical Labs, Pong) | https://doi.org/10.1016/j.neuron.2022...
Клетки человеческого мозга играют в Doom (Cortical Labs CL1) | https://github.com/SeanCole02/doom-ne...
Самодистилляция обеспечивает непрерывное обучение | https://arxiv.org/abs/2601.19897
Преодоление катастрофического забывания в нейронных сетях | https://arxiv.org/abs/1612.00796
Алгоритмы непрерывного обучения на основе метаобучения | https://arxiv.org/abs/2312.00276
Text-to-LoRA: Мгновенная адаптация трансформера | https://arxiv.org/abs/2506.06105
Doc-to-LoRA: Обучение мгновенному усвоению контекстов | https://arxiv.org/abs/2602.15902
Систематическое обобщение, подобное человеческому, с помощью метаобучающей нейронной сети | https://www.nature.com/articles/s4158...
Continual Learning Bench (веб-сайт) | https://continual-learning-bench.com/
Continual Learning Bench (репозиторий) | https://github.com/pgasawa/continual-...
Continual Learning Bench (статья) | https://arxiv.org/abs/2606.05661
Negation Neglect: When models fail to learn negations in training | https://arxiv.org/abs/2605.13829
On the generalization of language models from in-context learning and finetuning: a controlled study | https://arxiv.org/abs/2505.00661
Learning to Discover at Test Time | https://arxiv.org/abs/2601.16175
Learning, Fast and Slow: Towards LLMs That Stinually Adapt | https://arxiv.org/abs/2605.12484
A Theory of Usable Information Under Computational Constraints | https://arxiv.org/abs/2002.10689

---

Подпишитесь на рассылку, чтобы получать еженедельный контент об ИИ: https://yacinemahdid.com
Присоединяйтесь к Discord для общего обсуждения:   / discord  
---

Следите за мной онлайн:
Twitter:   / yacinelearning  
LinkedIn:   / yacinemahdid  
---

Желаю вам отличной недели! 👋