【儀表網(wǎng) 研發(fā)快訊】近日，中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所仿生視覺(jué)系統(tǒng)實(shí)驗(yàn)室李嘉茂研究員團(tuán)隊(duì)在雙目立體視覺(jué)深度估計(jì)領(lǐng)域取得重要進(jìn)展。題目為“F2R2: Frequency Filtering-based Rectification Robustness Method for Stereo Matching”的成果被機(jī)器人領(lǐng)域頂級(jí)國(guó)際學(xué)術(shù)會(huì)議2025 IEEE International Conference on Robotics and Automation(ICRA)錄用。
 

　　雙目立體視覺(jué)通過(guò)模擬人類雙眼原理，基于兩個(gè)相機(jī)從不同視角拍攝同一場(chǎng)景圖像，通過(guò)計(jì)算對(duì)應(yīng)像素點(diǎn)的視差(Disparity)進(jìn)而恢復(fù)空間深度(Depth)信息，這一過(guò)程即為立體匹配(Stereo Matching)。該技術(shù)是自主智能機(jī)器人、智能駕駛、元宇宙、工業(yè)檢測(cè)、醫(yī)療自動(dòng)化等眾多領(lǐng)域的基礎(chǔ)關(guān)鍵技術(shù)。
 

　　經(jīng)典立體匹配問(wèn)題中，要求雙目圖像滿足嚴(yán)格的極線約束前提。主流的做法是借助標(biāo)定板對(duì)雙目系統(tǒng)進(jìn)行高精度的離線預(yù)標(biāo)定與立體校正，并假設(shè)在后續(xù)使用過(guò)程中相機(jī)系統(tǒng)參數(shù)保持穩(wěn)定。然而，在實(shí)際應(yīng)用環(huán)境中，雙目系統(tǒng)往往會(huì)受到諸如碰撞、長(zhǎng)期機(jī)械振動(dòng)和溫度變化等因素的影響，從而導(dǎo)致雙目系統(tǒng)的外部參數(shù)發(fā)生偏移，從而顯著降低深度估計(jì)精度，甚至導(dǎo)致算法的崩潰。為應(yīng)對(duì)這一問(wèn)題，眾多研究者提出了基于場(chǎng)景特征的在線自標(biāo)定與校準(zhǔn)技術(shù)，旨在實(shí)時(shí)估計(jì)雙目系統(tǒng)的姿態(tài)變化并進(jìn)行修正。盡管如此，校正后的圖像仍可能存在分布不均的校正誤差，且此類方法在視覺(jué)特征稀疏場(chǎng)景下易失效，難以保證應(yīng)用的穩(wěn)定性。
 

　　為此，團(tuán)隊(duì)另辟蹊徑，聚焦弱約束雙目立體視覺(jué)深度估計(jì)研究，直接對(duì)未經(jīng)過(guò)嚴(yán)格極線校正的雙目圖像進(jìn)行深度估計(jì)。具體地，團(tuán)隊(duì)提出了一種基于頻率濾波的立體匹配方法F2R2。該方法從頻域?qū)W習(xí)的角度出發(fā)，通過(guò)設(shè)計(jì)敏感頻率濾波策略與匹配特征重構(gòu)模塊，增強(qiáng)模型對(duì)于校正誤差的魯棒性，同時(shí)有效保證了視差預(yù)測(cè)精度。該方法具有即插即用的特性，可適用于不同的立體匹配基礎(chǔ)模型。團(tuán)隊(duì)基于PSMNet 、Gwc-Net等經(jīng)典模型，在多個(gè)添加合成誤差的公開(kāi)數(shù)據(jù)集KITTI2015(KT15)，KITTI2012(KT12)，Middlebury(MB)，ETH3D(ET)和帶有真實(shí)誤差的自采集數(shù)據(jù)上完成了驗(yàn)證，改進(jìn)后的模型在不同程度的外參擾動(dòng)下均表現(xiàn)出良好的性能。
 

在多個(gè)權(quán)威雙目數(shù)據(jù)集上，團(tuán)隊(duì)算法F2R2在外參擾動(dòng)下顯著提升模型魯棒性(表中為立體匹配EPE(End Point Error)誤差，數(shù)值越小，性能越高)
 

在自采集數(shù)據(jù)集上，團(tuán)隊(duì)算法F2R2在外參擾動(dòng)下顯著提升模型魯棒性(表中為立體匹配EPE(End Point Error)誤差，數(shù)值越小，性能越高)
 

　　本研究成果得到了科技部科技創(chuàng)新2030、國(guó)家自然科學(xué)基金、上海市自然基金、中國(guó)科學(xué)院青促會(huì)、上海市優(yōu)秀學(xué)術(shù)帶頭人等項(xiàng)目支持。上海微系統(tǒng)所仿生視覺(jué)系統(tǒng)實(shí)驗(yàn)室周昊龍博士研究生、朱冬晨研究員為論文共同一作，李嘉茂研究員為通訊作者。