基於事件迭代雙向流估計網路 Event-Based Iterative Bidirectional Flow Network

Описание: 楊尚儕

光流估計(Optical Flow Estimation)一直是電腦視覺領域中一項核心且極具挑戰性的任務，其目標在於估計影像平面中每一個像素的運動方向與速度。近年來，隨著事件相機(Event Camera)技術的快速發展，其具備的高時間解析度、高動態範圍以及低功耗等獨特優勢，使其在高速運動場景及極端光照變化的條件下，展現出遠優於傳統相機的潛力，為光流估計開闢了新的研究途徑。然而，事件相機所輸出的資料具有非同步與稀疏的特性，這使得傳統基於幀的光流估計演算法難以直接移植使用，特別是在面對場景中的遮擋問題時，往往面臨估計精度顯著下降的瓶頸。為了克服上述挑戰，本論文提出了一種基於事件的迭代雙向光流估計網路(Event-based Iterative Bidirectional-flow Network, EIBNet)，旨在同時提升光流估計的準確性與對遮擋區域的辨識能力。EIBNet 架構整合了三大核心模組：迭代雙向光流估計、正反光流一致性檢測以及遮擋處理策略。在模型設計上，本研究選用輕量化的迭代去模糊網路(IDNet)作為基礎骨幹，並將其原本的單向架構擴展為具備「權重共享(Weight Sharing)」機制的雙向訓練框架。透過對輸入事件流進行時間反轉與極性變換，生成正向與反向的事件體素網格(Event Voxel Grid)，使得模型能夠在完全不增加參數量的前提下，同時估計出正向與反向光流，並利用兩者之間的幾何關係來定位遮擋區域。針對光流估計中最棘手的遮擋處理問題，本研究提出了一種創新的「後處理過濾策略」。有別於傳統方法多依賴遮擋真值(Ground Truth)進行監督式訓練，本方法直接利用預測出的正向與反向光流進行幾何一致性檢查。系統會動態生成遮擋遮罩(Occlusion Mask)，自動識別出違反物理運動約束的區域，並在最終輸出階段將這些不可靠的預測值予以濾除。此機制能有效消除因遮擋而產生的錯誤干擾，確保最終輸出的光流場僅保留具備物理一致性的高可信度數據。實驗結果證實，EIBNet 在 MVSEC 與 DSEC 兩大主流資料集上，無論是光流估計的準確度或是遮擋處理的魯棒性，均優於現有的先進方法(State-of-the-art)。
關鍵字 : 事件相機、光流估計、雙向光流、遮擋處理、正反向一致性。

Optical flow estimation is a challenging core task in computer vision. While event cameras offer high temporal resolution and dynamic range, their asynchronous and sparse output renders traditional frame-based algorithms ineffective, particularly in handling occlusions. To address this, this thesis proposes the Event-based Iterative Bidirectional-flow Network (EIBNet), designed to simultaneously enhance estimation accuracy and occlusion identification. EIBNet integrates three modules: Iterative Bidirectional-flow Estimation, Forward-Backward Flow Consistency, and an Occlusion Handling Strategy. Based on the lightweight Iterative Deblurring Network (IDNet), the architecture extends to a weight-sharing bidirectional framework. By reversing the time and polarity of input events, the model estimates forward and backward flows simultaneously without increasing parameters, utilizing their geometric relationship to localize occlusions. Crucially, this study introduces an innovative post-processing filtering strategy for occlusion handling. Unlike methods relying on supervised training with ground truth, this approach uses geometric consistency checks to dynamically generate occlusion masks, automatically filtering unreliable predictions at the output stage. This mechanism effectively eliminates errors caused by occlusion, ensuring physical consistency. Experimental results on the MVSEC and DSEC datasets demonstrate that EIBNet outperforms state-of-the-art methods in both accuracy and robustness.
Keywords : Event Camera, Optical Flow Estimation, Bidirectional Optical Flow, Occlusion Handling, Forward-Backward Consistency.