【儀表網(wǎng) 研發(fā)快訊】6月20日，華中科技大學(xué)集成電路學(xué)院繆向水、李祎教授團(tuán)隊(duì)與清華大學(xué)集成電路學(xué)院錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)于《科學(xué)進(jìn)展》(Science Advances)合作發(fā)表了憶阻存算一體技術(shù)的最新研究成果“Memristive floating-point Fourier neural operator network for efficient scientific modeling”。該論文報(bào)道了國際上首個(gè)基于憶阻器的浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)求解系統(tǒng)，實(shí)現(xiàn)了高精度、高能效、低延時(shí)的智能科學(xué)計(jì)算。
 

　　科學(xué)計(jì)算建模是現(xiàn)代科學(xué)研究與工程設(shè)計(jì)中的重要基礎(chǔ)問題。隨著傳統(tǒng)數(shù)值求解器在復(fù)雜建模問題中(如非線性微分方程模型)的求解延時(shí)難以滿足需求，以傅里葉神經(jīng)算子(Fourier Neural Operator，F(xiàn)NO)為代表神經(jīng)網(wǎng)絡(luò)求解器開始受到廣泛關(guān)注。神經(jīng)網(wǎng)絡(luò)求解器的訓(xùn)練與部署依賴高能效、大算力的先進(jìn)計(jì)算平臺(tái)。基于憶阻器的存算一體芯片與系統(tǒng)為突破馮·諾依曼瓶頸，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的高效訓(xùn)推提供了一種有潛力的解決方案。然而，與分類、識(shí)別等端側(cè)神經(jīng)網(wǎng)絡(luò)應(yīng)用不同的是，F(xiàn)NO等神經(jīng)網(wǎng)絡(luò)求解器的訓(xùn)推通常需要單浮點(diǎn)計(jì)算(FP32)精度以滿足求解需求。憶阻陣列的模擬計(jì)算精度限制、器件實(shí)現(xiàn)高精度“寫-驗(yàn)證”編程的時(shí)間與功耗開銷等因素進(jìn)而成為制約實(shí)現(xiàn)浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)求解器訓(xùn)推的關(guān)鍵瓶頸。
 

　　針對(duì)上述問題，華中科技大學(xué)研究團(tuán)隊(duì)在前期憶阻高精度科學(xué)計(jì)算系統(tǒng)研究基礎(chǔ)上，與清華大學(xué)團(tuán)隊(duì)合作構(gòu)建了一套基于憶阻器的浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)求解系統(tǒng)，實(shí)現(xiàn)了FNO網(wǎng)絡(luò)的高精度訓(xùn)練與高效推理。合作團(tuán)隊(duì)對(duì)算法、系統(tǒng)與電路進(jìn)行全層次協(xié)同優(yōu)化設(shè)計(jì)：電路層面，提出了混合二值憶阻單元與多值憶阻單元的浮點(diǎn)矩陣乘法電路，通過調(diào)控浮點(diǎn)數(shù)據(jù)的片上映射構(gòu)成，滿足不同求解任務(wù)的能效與精度需求；系統(tǒng)層面，構(gòu)建了“通用數(shù)字處理單元-專用數(shù)字處理單元-憶阻存算一體單元”的超異構(gòu)計(jì)算系統(tǒng)，在訓(xùn)練階段啟用通用數(shù)字處理單元配合憶阻器芯片實(shí)現(xiàn)高精度訓(xùn)練，在推理階段則啟用專用數(shù)字處理單元實(shí)現(xiàn)高能效推理；算法層面，利用FNO網(wǎng)絡(luò)“動(dòng)態(tài)權(quán)重+固定權(quán)重”的構(gòu)成特性，在訓(xùn)練中進(jìn)行靈活部署，提高訓(xùn)練準(zhǔn)確率的同時(shí)，降低系統(tǒng)功耗開銷。
 

圖1. FNO網(wǎng)絡(luò)與憶阻存算一體硬件系統(tǒng)
 

　　合作研究團(tuán)隊(duì)在180 nm憶阻器芯片測試系統(tǒng)(集成了8塊4 Kb憶阻器芯片)上完成了1-D和3-D FNO網(wǎng)絡(luò)的訓(xùn)練與部署實(shí)測(圖1)。針對(duì)基于1-D網(wǎng)絡(luò)的Burger’s方程求解任務(wù)，憶阻計(jì)算系統(tǒng)實(shí)現(xiàn)了99.6%的求解準(zhǔn)確率，相對(duì)FP32精度的數(shù)字計(jì)算系統(tǒng)，精度損失僅0.2%，推理能效提升約116倍。針對(duì)基于3-D FNO網(wǎng)絡(luò)的三維熱傳導(dǎo)問題求解任務(wù)，異構(gòu)訓(xùn)練方法相對(duì)全精度數(shù)字計(jì)算在節(jié)約22%的訓(xùn)練時(shí)間的同時(shí)，訓(xùn)練精度損失僅為7.3×10-4，相較全憶阻原位訓(xùn)練則可將訓(xùn)練延時(shí)與功耗開銷降低至1/4(圖2)。研究成果驗(yàn)證了憶阻存算一體技術(shù)在高精度神經(jīng)網(wǎng)絡(luò)求解器中的應(yīng)用潛力，為推動(dòng)發(fā)展面向AI-for-Science領(lǐng)域的非馮計(jì)算系統(tǒng)提供了重要基礎(chǔ)。
 

　　圖2. 基于憶阻智能計(jì)算系統(tǒng)的FNO訓(xùn)練，實(shí)現(xiàn)Burger’s方程及3D熱導(dǎo)問題的高精度高能效求解
 

　　華中科技大學(xué)集成電路學(xué)院李祎教授和清華大學(xué)集成電路學(xué)院高濱教授為論文的共同通訊作者。華中科學(xué)大學(xué)集成電路學(xué)院博士畢業(yè)生李健聰(現(xiàn)于香港科技大學(xué)從事博士后研究)、博士生田婧和清華大學(xué)集成電路學(xué)院博士后林鈺登為論文共同第一作者，香港智能晶片與系統(tǒng)研發(fā)中心陳佳博士、華中科技大學(xué)集成電路學(xué)院何毓輝教授等人參與了本工作。
 

　　該工作得到了科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大研究計(jì)劃、科技部國家重點(diǎn)研發(fā)計(jì)劃、湖北省杰出青年基金、華中科技大學(xué)基礎(chǔ)研究支持計(jì)劃等項(xiàng)目的資助，以及華中科技大學(xué)國家集成電路產(chǎn)教融合平臺(tái)、北京未來芯片技術(shù)高精尖創(chuàng)新中心的支持。