【儀表網(wǎng) 研發(fā)快訊】近日，清華大學(xué)深圳國際研究生院李星輝副教授團(tuán)隊(duì)在數(shù)字光柵結(jié)構(gòu)光三維(Structured light 3D reconstruction technology，SL3D)重建領(lǐng)域?qū)崿F(xiàn)進(jìn)展。針對高質(zhì)量三維重建所依賴的真實(shí)數(shù)據(jù)資源少，構(gòu)建策略效率低和前沿?cái)?shù)據(jù)缺乏問題提出了創(chuàng)新性的解決方案。團(tuán)隊(duì)深入研究了場景背景穩(wěn)定性對網(wǎng)絡(luò)前景預(yù)測精度的影響，并首次系統(tǒng)性探討了樣本空間分布頻率與模型性能之間的關(guān)系，從根本上提升了數(shù)據(jù)集構(gòu)建的科學(xué)性與效率。在此策略指導(dǎo)下，團(tuán)隊(duì)開發(fā)了SL3D-BF(Structuredlight 3D dataset with background-to-foreground enhancement)，一個面向開放工業(yè)環(huán)境的結(jié)構(gòu)光三維點(diǎn)云數(shù)據(jù)集。數(shù)據(jù)集涵蓋超過2000多個復(fù)雜工業(yè)場景，包含10萬多幀高精度光柵圖像，支持對真實(shí)物體如雕塑、法蘭、輪轂、電池板、電機(jī)、齒輪和不銹鋼管等物體的高精度重建，全面展現(xiàn)了材質(zhì)多樣性和工業(yè)實(shí)際挑戰(zhàn)。該成果為深度學(xué)習(xí)驅(qū)動的結(jié)構(gòu)光三維重建技術(shù)提供了全流程的數(shù)據(jù)支撐和構(gòu)建范式，有望顯著推動智能制造、精密檢測等關(guān)鍵領(lǐng)域的三維感知能力。
 

圖1.數(shù)據(jù)集組成，特征數(shù)據(jù)和其在現(xiàn)代工業(yè)中的應(yīng)用場景示意
 

　　SL3D-BF不僅是一個大規(guī)模數(shù)據(jù)集，更是一項(xiàng)具備系統(tǒng)設(shè)計(jì)理念的數(shù)據(jù)工程創(chuàng)新。李星輝團(tuán)隊(duì)自研的高精度結(jié)構(gòu)光點(diǎn)云采集系統(tǒng)，其標(biāo)準(zhǔn)球半徑測量誤差控制在十幾微米級別，為數(shù)據(jù)集的精度基準(zhǔn)提供了強(qiáng)有力保障。團(tuán)隊(duì)提出的背景增強(qiáng)與空間頻率分布優(yōu)化策略，有效降低了數(shù)據(jù)構(gòu)建成本，同時(shí)顯著提升了網(wǎng)絡(luò)的預(yù)測性能。實(shí)驗(yàn)證明，在統(tǒng)一網(wǎng)絡(luò)架構(gòu)下，白板背景下的前景物體預(yù)測誤差相比黑色背景下降了高達(dá)82%(從0.45rad降至0.08rad)，凸顯背景穩(wěn)定性在三維重建中的關(guān)鍵作用。SL3D-BF是國內(nèi)外為數(shù)不多的覆蓋全過程數(shù)據(jù)鏈條的高精度數(shù)據(jù)集，提供從光柵到高密度3D點(diǎn)云的完整閉環(huán)信息，支持陰影抑制、前景顯著性增強(qiáng)等高級研究。數(shù)據(jù)集中還包含標(biāo)準(zhǔn)球子集，為3D點(diǎn)云重建精度的定量評估提供了客觀基準(zhǔn)。
 

　　圖2.數(shù)據(jù)集場景背景對目標(biāo)前景預(yù)測精度的影響。SF-AP代表端到端技術(shù)路線，SF-4ND代表分子分母技術(shù)路線
 

　　SL3D-BF已在多個新系統(tǒng)上完成遷移學(xué)習(xí)驗(yàn)證，顯示出良好的泛化能力與廣泛適用性。該研究作為為計(jì)算機(jī)視覺與智能制造領(lǐng)域的重要公共資源，將推動結(jié)構(gòu)光三維重建技術(shù)在缺陷檢測、深度估計(jì)、語義分割等領(lǐng)域的跨界融合，并為深度學(xué)習(xí)模型在真實(shí)場景中的穩(wěn)健泛化提供堅(jiān)實(shí)的實(shí)驗(yàn)平臺。該數(shù)據(jù)集為結(jié)構(gòu)光三維技術(shù)的標(biāo)準(zhǔn)化與應(yīng)用奠定了基礎(chǔ)，助力我國在高端制造與智能感知領(lǐng)域走在國際前沿。
 

　　同時(shí)，盡管基于深度學(xué)習(xí)的SL3D技術(shù)近幾年來飛速發(fā)展，通過單幀輸入端到端預(yù)測的方式獲得高精度的3D點(diǎn)云仍然是一個尚未解決的挑戰(zhàn)。團(tuán)隊(duì)提出了多路物理監(jiān)督輔助的單幀端到端絕對相位預(yù)測網(wǎng)絡(luò)(Multi-path branch auxiliary supervision network, MPS_XNet)。具體來說，MPS_XNet基于絕對相位時(shí)間展開物理模型的三個關(guān)鍵階段，分子、分母和包裹相位，作為輔助分支來幫助絕對相位主路進(jìn)行長距離非線性預(yù)測。此外，基于此模型設(shè)計(jì)了專屬多路損失函數(shù)，促使網(wǎng)絡(luò)沿著模型定義的方向?qū)W習(xí)最優(yōu)路徑。MPS_XNet不僅彌補(bǔ)了單幀輸入信息的不足，而且通過將單個長距離預(yù)測難題轉(zhuǎn)換為多個短距離子任務(wù)，以可解釋的方式指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，大幅提升了網(wǎng)絡(luò)預(yù)測精度。
 

圖3.MPS_XNet網(wǎng)絡(luò)模型
 

　　實(shí)驗(yàn)表明，MPS_XNet在五個數(shù)據(jù)集(金屬工件和復(fù)雜輪廓)和研究提出的測量系統(tǒng)上均優(yōu)于現(xiàn)有的先進(jìn)回歸網(wǎng)絡(luò)范式，此策略通過物理模型設(shè)計(jì)和20毫秒內(nèi)的任務(wù)分解消耗，在相位計(jì)算中平均誤差突破性的降低了90%。此策略可以用在通用的回歸網(wǎng)絡(luò)中，以加強(qiáng)單分支網(wǎng)絡(luò)的魯棒性和可解釋性，可以在工業(yè)和科學(xué)應(yīng)用中實(shí)現(xiàn)實(shí)時(shí)、高精度的3D測量。
 

圖4.MPS_XNet網(wǎng)絡(luò)在泛化數(shù)據(jù)集上的單幀輸入點(diǎn)云輸出
 

　　數(shù)據(jù)集相關(guān)研究成果以“SL3D-BF：一個具有背景到前景增強(qiáng)的真實(shí)世界結(jié)構(gòu)光3D數(shù)據(jù)集”(SL3D-BF: A Real-World Structured Light 3D Dataset with Background-to-Foreground Enhancement)為題，于5月19日發(fā)表于《IEEE電路與系統(tǒng)視頻技術(shù)匯刊》(IEEE Transactions on Circuits and Systems for VideoTechnology, TCSVT)。
 

　　物理監(jiān)督模型機(jī)制研究成果以“可靠的三維重建與單次數(shù)字光柵和物理模型監(jiān)督機(jī)器學(xué)習(xí)”(Reliable 3D Reconstruction with Single-Shot Digital Grating and Physical Model-Supervised Machine Learning)為題，于6月5日發(fā)表于《IEEE儀器與測量匯刊》(IEEE Transactions on Instrument and Measurement)。
 

　　兩篇的論文第一作者為清華大學(xué)深圳國際研究生院2021級博士生李一鳴，通訊作者為清華大學(xué)深圳國際研究生院副教授李星輝和鵬城實(shí)驗(yàn)室副研究員梁驍俊。其他合作者包括清華大學(xué)深圳國際研究生院2023級碩士生陳偉康、李梓楠，2023級博士生王浩；鵬城實(shí)驗(yàn)室高文院士、桂衛(wèi)華院士，助理研究員張超波；清華大學(xué)深圳國際研究生院研究員王曉浩。研究得到深圳市穩(wěn)定支持計(jì)劃項(xiàng)目、鵬城實(shí)驗(yàn)室重大攻關(guān)項(xiàng)目的資助。