[Paper Review] Model Merging for Continual learning

Автор: 서울대학교 산업공학과 DSBA 연구실

Загружено: 2026-02-05

Просмотров: 464

Описание: 논문 제목 : Editing Models with Task Arithmetic

저널 : ICLR 2023

인용 수 : 1059

선정 배경
최근 Continual Learning은 기존의 Vision 분야에서 뿐만 아니라 최근 LLM에서 많은 시도가 이루어지고 있음. 다양한 연구가 진행되고 있으나, 그 중 가장 많은 연구가 이루어지는 것 중에 하나가 Model Merging 방식
이 논문은 모델의 파라미터 공간에서 ‘학습’이라는 행위를 단순한 ‘벡터의 덧셈과 뺄셈’으로 치환할 수 있음을 증명하며 Model Merging을 단순한 성능 향상 도구가 아닌, '기능 편집(Function Editing)'의 도구로 재정의한 이 연구
이는 데이터를 저장해야 하는 Replay Buffer 없이도, 단순히 학습된 가중치의 차이(Delta)를 더하거나 빼는 것만으로 망각(Forgetting)을 복구하거나 새로운 태스크를 주입할 수 있음을 의미

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...

[Paper Review] Model Merging for Continual learning

Доступные форматы для скачивания:

Скачать видео

Информация по загрузке:

Скачать аудио

Похожие видео

(Paper Review) Introduction to Neural Operator

(Paper Review) Introduction to Neural Operator

[Paper Review] Back to Basics: Let Denoising Generative Models Denoise

[Paper Review] Back to Basics: Let Denoising Generative Models Denoise

[Paper Review] Multiple Instance Learning in Time Series

[Paper Review] Multiple Instance Learning in Time Series

[DSBA Study] Agent AI 1주차: AI 에이전트의 기초 개념과 정의 (2)

[DSBA Study] Agent AI 1주차: AI 에이전트의 기초 개념과 정의 (2)

NotebookLM на максималках. Как изучать всё быстрее чем 99% пользователей

NotebookLM на максималках. Как изучать всё быстрее чем 99% пользователей

Новые функции NotebookLM просто невероятны.

Новые функции NotebookLM просто невероятны.

[DSBA Study] Agent AI 1주차 - AI 에이전트의 기초 개념과 정의 (1)

[DSBA Study] Agent AI 1주차 - AI 에이전트의 기초 개념과 정의 (1)

Обзор Claude Opus 4.6: Является ли это лучшим ИИ для написания книг в 2026 году?

Обзор Claude Opus 4.6: Является ли это лучшим ИИ для написания книг в 2026 году?

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

[Paper Review] ELFS: Label-Free Coreset Selection with Proxy Training Dynamics

[Paper Review] ELFS: Label-Free Coreset Selection with Proxy Training Dynamics

[Paper Review] Recent Research Trends Foundation Model for Visual Anomaly Detection

[Paper Review] Recent Research Trends Foundation Model for Visual Anomaly Detection

[Paper Review] Selective Learning for Deep Time Series Forecasting (NeurIPS 2025)

[Paper Review] Selective Learning for Deep Time Series Forecasting (NeurIPS 2025)

ЛУЧШАЯ БЕСПЛАТНАЯ НЕЙРОСЕТЬ Google, которой нет аналогов

ЛУЧШАЯ БЕСПЛАТНАЯ НЕЙРОСЕТЬ Google, которой нет аналогов

머스크가 경고한 3년 뒤 한국, 10가지 생존 시나리오

머스크가 경고한 3년 뒤 한국, 10가지 생존 시나리오

[Paper Review] Enhancing Time Series Forecasting through Selective Representation Spaces

[Paper Review] Enhancing Time Series Forecasting through Selective Representation Spaces

AI-агенты становятся системной силой: масштабы, риски, потеря контроля | AI 2026

AI-агенты становятся системной силой: масштабы, риски, потеря контроля | AI 2026

Одно изображение стоит NxN слов | Диффузионные трансформаторы (ViT, DiT, MMDiT)

Одно изображение стоит NxN слов | Диффузионные трансформаторы (ViT, DiT, MMDiT)

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Управление поведением LLM без тонкой настройки

Управление поведением LLM без тонкой настройки

Дарио Амодеи — «Мы близки к концу экспоненты»

Дарио Амодеи — «Мы близки к концу экспоненты»