【儀表網(wǎng) 研發(fā)快訊】近日，中國科學(xué)院深圳先進(jìn)技術(shù)研究院醫(yī)學(xué)成像全國重點實驗室、醫(yī)工所醫(yī)學(xué)人工智能研究中心黃明強團(tuán)隊在大模型AI芯片領(lǐng)域取得重要進(jìn)展，其研究成果在電路與系統(tǒng)領(lǐng)域頂級期刊IEEE Transactions on Circuits and Systems I: Regular Papers上在線發(fā)表，論文題目為"EdgeLLM: A Highly Efficient CPU-FPGA Heterogeneous Edge Accelerator for Large Language Models"。該研究成功攻克人工智能大語言模型(LLM)在資源受限邊緣設(shè)備部署的核心難題，為智能機器人、便攜設(shè)備等場景的實時AI應(yīng)用提供了創(chuàng)新解決方案。
 

　　自2017年以來，Transformer算法在自然語言處理和計算機視覺(CV)研究領(lǐng)域迅速成為人工智能領(lǐng)域的主導(dǎo)力量。通過引入自注意力機制，Transformer改變了傳統(tǒng)的序列建模方法，不再依賴卷積神經(jīng)網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和序列處理。這一創(chuàng)新不僅增強了模型的并行化能力，使得大規(guī)模模型的訓(xùn)練成為可能，還顯著提升了模型性能。在Transformer取得成功之后，研究人員開始探索更大的模型，這些模型通常擁有數(shù)百億甚至更多的參數(shù)，被稱為“大語言模型”。大語言模型不僅增強了人工智能的語言處理能力，還推動了AI更廣泛的技術(shù)進(jìn)步，為教育、娛樂、醫(yī)療和商業(yè)等行業(yè)帶來了革命性的變革。
 

　　但是大語言模型在資源受限的端側(cè)系統(tǒng)部署仍存在較大的困難。首先，大語言模型計算量龐大以及內(nèi)存訪問需求極高。現(xiàn)有解決方案通常將這些權(quán)重參數(shù)量化為INT4格式。然而，為了確保計算精度，模型中的激活函數(shù)仍然保持FP16格式。因此，在前饋神經(jīng)網(wǎng)絡(luò)(FFN)層中，系統(tǒng)需要支持FP16INT4格式的矩陣乘法。另一方面，在多頭注意力(MHA)模塊中，KV緩存作為激活數(shù)據(jù)動態(tài)生成，因此涉及KV緩存的矩陣乘法需要FP16FP16格式。因此，設(shè)計混合精度計算單元以加速LLM變得尤為重要。我們分析了前饋網(wǎng)絡(luò)(FFN)和多頭注意力(MHA)的計算需求，提出了高效率的混合精度計算單元以及組脈動陣列架構(gòu)。此外，我們還提出了對數(shù)尺度結(jié)構(gòu)化稀疏性和塊級量化方法，以在硬件效率和算法精度之間取得平衡。
 

　　此外，在大語言模型中，定義計算流程的算子圖極其復(fù)雜，包含數(shù)百甚至數(shù)千個以復(fù)雜方式相互連接的算子，確保從一個算子到另一個算子的過渡無縫且高效成為了一項重大挑戰(zhàn)。該團(tuán)隊分析了大語言模型中的編譯需求，設(shè)計了一種統(tǒng)一且通用的數(shù)據(jù)格式，適用于所有算子和AI算法中的高維張量結(jié)構(gòu)，使系統(tǒng)能夠快速執(zhí)行算子操作而無需任何數(shù)據(jù)重排。隨后，開發(fā)了端到端的編譯方案，其中動態(tài)編譯用于處理不同輸入token長度，指令流水線策略用于減少延遲。該方案能夠動態(tài)編譯所有算子，并將整個模型映射到CPU-FPGA異構(gòu)系統(tǒng)上。
 

　　最終，整個設(shè)計成功部署在AMDXilinx VCU128 FPGA上。與GPU相比，該系統(tǒng)的吞吐量提高了1.91倍，能效提高了7.55倍；與最先進(jìn)的FPGA加速器FlightLLM相比，整體性能提升了10%到24%。該成果有望應(yīng)用于新一代具身智能機器人、手機AI大模型等應(yīng)用場景中。
 

　　中國科學(xué)院深圳先進(jìn)技術(shù)研究院黃明強研究員為第一作者，南方科技大學(xué)深港微電子學(xué)院為合作單位。該研究得到了醫(yī)學(xué)成像科學(xué)與技術(shù)系統(tǒng)全國重點實驗室、科技創(chuàng)新-2030重大科技項目的資助。