[Paper Review] CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks
Автор: 서울대학교 산업공학과 DSBA 연구실
Загружено: 2024-01-11
Просмотров: 4105
Описание:
발표자: 고려대학교 DSBA 연구실 석사과정 남웅찬([email protected])
1. 논문 제목 : CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks (arXiv preprint, 2023)
2. 원문 링크 : https://arxiv.org/abs/2304.05653
3. 요약
CLIP의 Explainability와 관련하여 2가지 문제점을 지적
Foreground에 집중하지 못하고 Background에 집중하는 Opposite Visualization 문제점을 기존의 Self-Attention Block 내의 Query-Key 연산을 Value-Value 연산으로 바꾼 후 이를 New Block으로 정의한 후 Original Self-Attention Block과 함께 Dual Path로 구성하는 방법을 제안
Attention Map내에서 Uniform하게 Noise 형태로 Activation이 되는 Noisy Activation 문제점을 feature 내의 불필요한 Redundant features를 계산하여 기존의 Multiplied features에서 빼는 Feature Surgery 전략을 제안
4. Keyword : #CLIP Surgery, #CLIP, #Explainability
Повторяем попытку...
![[Paper Review] CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks](https://imager.clipsaver.ru/3ES5R2DjaFs/max.jpg)
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке:
![[Paper Review] BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language](https://imager.clipsaver.ru/Kgf7CigUfZc/max.jpg)
![Почему реактивный двигатель не плавится? [Veritasium]](https://imager.clipsaver.ru/F6UB0V2Fct4/max.jpg)
