[Open DMQA Seminar] Knowledge Distillation Methods for Industrial Image Anomaly Detection

Описание: 산업 현장의 이미지 이상치 탐지(industrial image anomaly detection) 분야는 정상 데이터에 비해 이상치 데이터의 획득이 극히 어렵다는 데이터 불균형의 특성을 가진다. 이러한 제약으로 인해 실무에서는 주로 정상 데이터만을 활용하는 비지도 학습 방식이 채택되며, 효율적이고 빠른 처리를 위해 사전 학습된 모델을 특징 추출기(feature extractor)로 활용하는 전략이 일반화되어 있다. 이러한 맥락에서 knowledge distillation(KD) 기법은 사전 학습된 모델(teacher)의 풍부한 표현력을 활용해 학습 모델(student)이 정상 데이터의 특징만을 집중적으로 학습할 수 있다는 점에서 큰 주목을 받아왔다. 특히, 이상 데이터가 입력되었을 때 teacher와 student 간에 발생하는 특징 맵(feature map)의 차이(discrepancy)를 이상치 점수로 활용하는 구조는 기존 재구축(reconstruction) 기반 모델들의 복원 오차(reconstruction error) 한계를 극복하고 픽셀 단위의 매우 정교한 이상 영역 국소화(anomaly localization)를 가능하게 한다는 강점을 가진다. 본 세미나에서는 대표적인 4개의 논문을 통해 초기 KD 기반 모델에서 최신 구조로의 발전 과정을 심도 있게 살펴봄으로써, 아키텍처의 변화 및 성능 개선 요인을 분석하고 향후 산업용 이상치 탐지 기술의 발전 방향을 논의하고자 한다.

참고자료:
[1] Bergmann, P., et al. "Uninformed students: Student–teacher anomaly detection with discriminative latent embeddings." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

[2] Salehi, M., et al. "Multiresolution knowledge distillation for anomaly detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.

[3] Deng, H., & Li, X. "Anomaly detection via reverse distillation from one-class embedding." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

[4] Rudolph, M., et al. "Asymmetric student-teacher networks for industrial anomaly detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.