【儀表網(wǎng) 研發(fā)快訊】近日，中國(guó)科學(xué)技術(shù)大學(xué)工程科學(xué)學(xué)院機(jī)器人與智能裝備研究所董二寶副教授課題組發(fā)布了首個(gè)面向高空作業(yè)機(jī)器人的開源多模態(tài)感知數(shù)據(jù)集USTC FLICAR。該數(shù)據(jù)集以“USTC FLICAR: A sensors fusion dataset of LiDAR-inertial-camera for heavy-duty autonomous aerial work robots”為題在線發(fā)表于機(jī)器人領(lǐng)域知名期刊《The International Journal of Robotics Research》(IJRR)。
 

　　高空作業(yè)在工農(nóng)業(yè)生產(chǎn)和日常生活中發(fā)揮著重要作用，但同時(shí)也伴隨著較高的作業(yè)人員安全風(fēng)險(xiǎn)。推動(dòng)高空作業(yè)的自動(dòng)化和智能化發(fā)展將有助于保障作業(yè)人員人身安全，提高作業(yè)效率和質(zhì)量，具有重要的社會(huì)價(jià)值和經(jīng)濟(jì)效益。研究團(tuán)隊(duì)展示了將自動(dòng)駕駛感知系統(tǒng)與斗臂工程車相結(jié)合以創(chuàng)建多功能自主高空作業(yè)機(jī)器人平臺(tái)的潛力。USTC FLICAR數(shù)據(jù)集的數(shù)據(jù)采集系統(tǒng)配備了各種校準(zhǔn)良好且時(shí)間同步的傳感器：四個(gè)3D激光雷達(dá)、兩個(gè)立體相機(jī)、兩個(gè)單目相機(jī)、慣性測(cè)量單元(IMU)和一個(gè)GNSS/INS定位系統(tǒng)。同時(shí)使用激光跟蹤儀記錄毫米級(jí)精度的地面坐標(biāo)系下機(jī)器人平臺(tái)實(shí)況位置。
 

圖1. USTC FLICAR數(shù)據(jù)集的數(shù)據(jù)采集系統(tǒng)示意圖
 

　　研究團(tuán)隊(duì)選取代表性高空作業(yè)場(chǎng)景，收集了包括一天中的不同時(shí)間和天氣等多種條件下的數(shù)據(jù)，以確保高空作業(yè)機(jī)器人的全天候運(yùn)行。周圍的物體包括高壓線、樹木、建筑物、道路等。高空作業(yè)機(jī)器人平臺(tái)的軌跡包括空中的三維平動(dòng)、俯仰和旋轉(zhuǎn)。
 

　　USTC FLICAR數(shù)據(jù)集提供激光雷達(dá)點(diǎn)云數(shù)據(jù)、相機(jī)圖像數(shù)據(jù)、慣導(dǎo)位置姿態(tài)數(shù)據(jù)、地面真值數(shù)據(jù)，以及各傳感器之間的標(biāo)定數(shù)據(jù)。這些數(shù)據(jù)將支持面向高空作業(yè)的同時(shí)定位與建圖(SLAM)、三維精確重構(gòu)、多模態(tài)融合感知、多傳感器標(biāo)定等任務(wù)。
 

　　截至目前，USTC FLICAR數(shù)據(jù)集包含超過1.5TB的數(shù)據(jù)，包括4萬個(gè)立體圖像對(duì)、10萬個(gè)單目圖像、7萬幀激光雷達(dá)點(diǎn)云以及高頻IMU/INS和激光跟蹤儀運(yùn)動(dòng)測(cè)量數(shù)據(jù)。所有數(shù)據(jù)都可以以二進(jìn)制格式(rosbags)和直接可讀格式下載，如純文本格式的數(shù)字?jǐn)?shù)據(jù)、高質(zhì)量png格式的原始圖像數(shù)據(jù)。數(shù)據(jù)中還提供了一些有用的工具和SDK，以便快速使用。未來將繼續(xù)向數(shù)據(jù)集添加更多數(shù)據(jù)，以更充分地應(yīng)對(duì)高空作業(yè)機(jī)器人面臨的技術(shù)挑戰(zhàn)。
 

圖2.同時(shí)間戳單組多傳感器數(shù)據(jù)可視化示例
 

　　為提升數(shù)據(jù)標(biāo)注效率和質(zhì)量，研究團(tuán)隊(duì)還基于基礎(chǔ)AI視覺大模型Segment Anything Model (SAM)進(jìn)行語義標(biāo)注，制作了Semantic FLICAR數(shù)據(jù)集。原始圖像數(shù)據(jù)由SAM模型自動(dòng)生成全局掩模分割，然后由人類標(biāo)注者通過感興趣區(qū)域的交互式提示進(jìn)行協(xié)作細(xì)化，從而獲得精確詳細(xì)的標(biāo)注。
 

圖3.基于SAM的語義標(biāo)注數(shù)據(jù)引擎
 

　　中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院2023屆本科生王梓名為論文第一作者，工程科學(xué)學(xué)院董二寶副教授為論文通訊作者。論文的合作者還包括計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院張燕詠教授和吉建民副教授、工程科學(xué)學(xué)院2023屆碩士生劉昱江等。該研究工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃、仲英青年學(xué)者項(xiàng)目和中央高校基本科研業(yè)務(wù)專項(xiàng)資金的支持。
 

　　近年來，中國(guó)科學(xué)技術(shù)大學(xué)工程科學(xué)學(xué)院機(jī)器人與智能裝備研究所董二寶副教授課題組承擔(dān)國(guó)家重點(diǎn)研發(fā)計(jì)劃“智能機(jī)器人”重點(diǎn)專項(xiàng)“面向電力行業(yè)的作業(yè)機(jī)器人系統(tǒng)研究及應(yīng)用”項(xiàng)目的課題“配網(wǎng)帶電作業(yè)機(jī)器人技術(shù)研究”，在高空作業(yè)機(jī)器人領(lǐng)域開展了深入研究。團(tuán)隊(duì)聯(lián)合國(guó)網(wǎng)安徽電力、國(guó)網(wǎng)山東電力等單位研究突破多項(xiàng)關(guān)鍵技術(shù)，設(shè)計(jì)研制出10kV配網(wǎng)帶電作業(yè)雙臂機(jī)器人系統(tǒng)，并在實(shí)際配電網(wǎng)架空線路上進(jìn)行了示范應(yīng)用，可替代人工在高空?qǐng)鼍爸型瓿蓭щ娊踊稹嘁骶€、安裝故障指示器、安裝驗(yàn)電接地環(huán)、除枝清障、消缺等典型不停電作業(yè)功能，于2023年3月順利通過國(guó)家科技部高技術(shù)研究發(fā)展中心組織的綜合績(jī)效評(píng)價(jià)。相關(guān)成果還以“Intelligent power distribution live-line operation robot systems based on stereo camera”為題于2023年7月發(fā)表在電力領(lǐng)域知名期刊《High Voltage》上。上述工作為本論文USTC FLICAR數(shù)據(jù)集的構(gòu)建奠定了堅(jiān)實(shí)的基礎(chǔ)條件，同時(shí)數(shù)據(jù)集的發(fā)布也將進(jìn)一步推動(dòng)高空作業(yè)機(jī)器人的研究發(fā)展和推廣應(yīng)用。
 

圖4.配網(wǎng)帶電作業(yè)雙臂機(jī)器人的示范應(yīng)用現(xiàn)場(chǎng)