[Open DMQA Seminar] Uncertainty Quantification in Deep Learning

Описание: 딥러닝 알고리즘은 입력과 출력 사이 인과관계를 명확히 설명하는데 제약이 있으며, 입력에 활용되는 데이터 또는 모델에 내재된 불확실성이 존재한다. 따라서 딥러닝 결과를 의사결정에 적절히 활용하기 위해서는 모델의 예측 성능뿐만 아니라, 결과의 신뢰성을 정량화하여 분석하는 것이 중요하다. 본 세미나에서는 신뢰성 지표인 ‘불확실성’이 무엇인지 살펴보고, 이를 정량화하기 위한 대표적인 방법론인 (1) Bayesian-based approach, (2) Ensemble-based approach에서부터 최근 연구 동향, 그리고 (3) GP-based approach를 살펴보겠다.

[1] Gal, Y., & Ghahramani, Z. (2016). Dropout as a bayesian approximation: Representing model uncertainty in deep learning. In international conference on machine learning (pp. 1050-1059).

[2] Kendall, A., & Gal, Y. (2017). What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?. Advances in Neural Information Processing Systems, 30, 5574-5584.

[3] Lakshminarayanan, B., Pritzel, A., & Blundell, C. (2017). Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles. Advances in Neural Information Processing Systems, 30.

[4] Wen, Y., Tran, D., & Ba, J. (2019). BatchEnsemble: an Alternative Approach to Efficient Ensemble and Lifelong Learning. In International Conference on Learning Representations.

[5] Liu, J. Z., Lin, Z., Padhy, S., Tran, D., Bedrax-Weiss, T., & Lakshminarayanan, B. (2020). Simple and principled uncertainty estimation with deterministic deep learning via distance awareness. arXiv preprint arXiv:2006.10108.