【儀表網 研發快訊】近日，人工智能領域國際頂級期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE TPAMI，影響因子：20.8)在線發表了武漢大學遙感信息工程學院李彥勝課題組關于大幅面遙感影像場景圖生成的最新研究成果，研究成果在張永軍教授的指導下完成。
 

　　論文題為“STAR: A First-Ever Dataset and A Large-Scale Benchmark for Scene Graph Generation in Large-Size Satellite Imagery”，合作者包括武漢大學、上海交通大學、西北工業大學、中國科學院空天信息創新研究院、美國康奈爾大學、中南大學等國內外機構的知名學者及研究生。論文公開了大幅面遙感影像場景圖生成樣本庫、算法工具包及評測排行榜，提出了一種適用于大幅面遙感影像目標檢測及關系預測的新方法。
 

　　圖1. 大幅面遙感影像場景圖生成示意圖。(a)和(c)分別展示了顯示大幅面遙感影像中目標檢測和場景圖生成結果，(b)和(d)為對應的局部細節展示。在(d)中，黑色箭頭表示僅依賴于孤立目標對可預測的關系，而紅色箭頭表示需要借助上下文推斷的復雜關系。
 

　　遙感影像場景圖生成有助于促進復雜地理空間從場景感知到場景認知的升級躍遷。在大幅面遙感影像中，地理目標的尺度和縱橫比變化大，地理目標之間(甚至是空間不相交的地理目標之間)存在豐富語義關系，這使得在大幅面遙感影像中進行整體場景圖生成十分必要。然而，大幅面遙感影像場景圖生成樣本庫的缺乏極大限制了遙感影像認知技術發展。由于大幅面遙感影像復雜度高，挖掘目標-關系三元組，關系，目標>高度依賴遠距離上下文推理。傳統為小尺寸自然圖像設計的場景圖生成模型無法直接適用于大幅面遙感影像。因此，亟需建設大幅面遙感影像場景圖生成樣本庫，發展全新大幅面遙感影像場景圖生成理論方法。
 

　　在樣本庫建設方面，論文構建了一套面向全球采樣的大幅面遙感影像場景圖生成樣本庫STAR(涵蓋了全球范圍內與人類活動密切相關的11類復雜地理空間場景如機場、港口、核電站、火電站、風力發電站、水壩和服務區、立交橋、水面橋、施工工地和體育運動場景等，人工精細標注超過210,000個地理目標和超過400,000個目標-關系三元組，影像幅面為512×768到27,860×31,096像素)。STAR樣本庫可以為大幅面遙感影像目標檢測和場景圖生成任務提供有力數據支撐。
 

　　在方法探索方面，論文提出了一種基于全局上下文感知的大幅面遙感影像場景圖生成方法：從目標檢測、目標對剪枝和關系預測三個層面逐級漸進解析大幅面復雜遙感影像。具體地，提出了能夠靈活集成多尺度上下文的整體多類目標檢測方法，檢測大幅面遙感影像中的目標；設計了基于對抗-重構的關系候選對生成方法，篩選包含高價值關系的目標對；提出了帶有上下文感知消息傳遞的關系預測方法，預測候選對的關系類型。
 

圖2.基于全局上下文感知的大幅面遙感影像場景圖生成方法
 

　　在評估基準構建方面，針對面向水平框和旋轉框的大幅面遙感影像目標檢測與場景圖生成任務，發布了面向大幅面遙感影像的場景圖生成算法工具包(包含30余種目標檢測方法和10余種場景圖生成方法)。依托STAR樣本庫，進行了全面基準測試，實驗表明提出的新方法相比基線方法具有明顯性能優勢。
 

圖3.論文提出新方法與現有方法在STAR數據集上的場景圖生成結果可視化對比
 

　　該項研究得到國家自然科學基金重點項目和面上項目資助支持。