#276

Описание: Свёрточные нейронные сети (СНС) хорошо справляются с обучением обобщаемых априорных данных изображений на основе больших объёмов данных и поэтому широко применяются для восстановления изображений и решения связанных задач. Недавно другой класс нейронных архитектур, Transformers, продемонстрировал значительный прирост производительности при работе с естественным языком и высокоуровневыми задачами, связанными со зрением. Хотя модель Transformer смягчает недостатки СНС, а именно ограниченное рецептивное поле и неадаптивность к входному контенту, её вычислительная сложность растёт квадратично с ростом пространственного разрешения, что делает её непригодной для большинства задач восстановления изображений с высоким разрешением. В данной работе предлагается эффективная модель Transformer, основанная на нескольких ключевых решениях в архитектуре (многоголовое внимание и сеть прямого распространения), что позволяет ей улавливать дальние взаимодействия пикселей, оставаясь при этом применимой к большим изображениям. Модель, получившая название Restoration Transformer (Restormer), обеспечивает передовые результаты при решении различных задач по восстановлению изображений, включая удаление шума с изображений, устранение размытия движения на отдельных изображениях, устранение размытия расфокусировки (на отдельных изображениях и двухпиксельных данных) и шумоподавление (шумоподавление по гауссову серому/цветному шумоподавлению и шумоподавление на реальных изображениях).

В этом видео я расскажу о следующем: какова архитектура Restoration Transformer (Restormer)? Как Restormer выполняет удаление шума с изображений и устранение размытия движения на отдельных изображениях? Как Restormer выполняет удаление размытия расфокусировки на двухпиксельных данных? Как Restormer выполняет шумоподавление на изображениях?

Подробнее см. на сайтах https://openaccess.thecvf.com/content... и https://github.com/swz30/Restormer

Замир, Сайед Вакас, Адитья Арора, Салман Хан, Мунавар Хаят, Фахад Шахбаз Хан и Минг-Сюань Ян. «Restormer: Эффективный преобразователь для восстановления изображений высокого разрешения». В материалах конференции IEEE/CVF по компьютерному зрению и распознаванию образов, стр. 5728–5739, 2022.

Спасибо за просмотр!
LinkedIn: http://aka.ms/manishgupta
Домашняя страница: https://sites.google.com/view/manishg/