手機(jī)訪問更快捷
更多流量 更易傳播
隨時掌握行業(yè)動態(tài)
網(wǎng)絡(luò)課堂 行業(yè)直播
產(chǎn)品推薦:水表|流量計(jì)|壓力變送器|熱電偶|液位計(jì)|冷熱沖擊試驗(yàn)箱|水質(zhì)分析|光譜儀|試驗(yàn)機(jī)|試驗(yàn)箱
近日,香港理工大學(xué)柴揚(yáng)和華中科技大學(xué)何毓輝教授造出一款動態(tài)視覺傳感器,實(shí)現(xiàn)了高級別的動態(tài)視覺處理。
本次研究結(jié)合了動態(tài)視覺傳感器和傳感器內(nèi)計(jì)算,通過充分利用兩者的優(yōu)點(diǎn),他們還設(shè)計(jì)出一款動態(tài)傳感器內(nèi)計(jì)算架構(gòu)。該架構(gòu)可以大幅提高運(yùn)算效率,實(shí)現(xiàn)低延時、低功耗的運(yùn)動識別。
這種直接在傳感器內(nèi)進(jìn)行實(shí)時處理和決策的方式,有望用于邊緣計(jì)算,以及用于那些對延遲高度敏感的場景比如無人駕駛汽車、機(jī)器人技術(shù)等領(lǐng)域,并能有效節(jié)省通信帶寬,此外還能增強(qiáng)數(shù)據(jù)的安全性和隱私性。
那么,相比現(xiàn)有的圖像傳感器、或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS,Complementary Metal Oxide Semiconductor),動態(tài)視覺傳感器在捕捉動態(tài)圖像時,在工作原理上有著哪些不同?
據(jù)了解,傳統(tǒng)相機(jī)所基于的標(biāo)準(zhǔn)圖像傳感器具有固定的幀率,不管像素點(diǎn)的光強(qiáng)是否發(fā)生變化,都會在每一幀記錄下所有像素的光強(qiáng),因此會包含大量冗余的視覺數(shù)據(jù)。
另一方面,較長的曝光時間限制了事件捕獲的延遲,導(dǎo)致所捕捉到的高速運(yùn)動物體圖像存在模糊和過曝等問題。
相比之下,受生物視網(wǎng)膜啟發(fā)的動態(tài)視覺傳感器(DVS,Dynamic Vision Sensor),可以只針對場景中的相對變化區(qū)域作出反應(yīng)。
對于動態(tài)視覺傳感器來說,只有在像素點(diǎn)的位置發(fā)生光強(qiáng)變化的時候,才會產(chǎn)生脈沖信號從而生成稀疏數(shù)據(jù),這樣一來就能大大減少數(shù)據(jù)的冗余量。
動態(tài)視覺傳感器還具備超高的時間分辨率,能夠確保動作信息被完整記錄下來。因此,它也能被用于檢測場景中的變化,輸出稀疏且重要的信息。
而對于傳感器內(nèi)的脈沖信號來說,它是否也能被反饋給傳感器神經(jīng)元,從而做出相應(yīng)的調(diào)整?
對于這一問題,答案是肯定的。為了執(zhí)行復(fù)雜的計(jì)算任務(wù)比如動作識別,像素單元需要被擴(kuò)展到陣列級別,并通過單元之間合適的物理互連,構(gòu)建成脈沖神經(jīng)網(wǎng)絡(luò)(SNN,Spiking Neural Network)。
而每個子像素陣列,在連接之后可以輸出神經(jīng)元。在動態(tài)場景中,當(dāng)像素點(diǎn)的光照強(qiáng)度發(fā)生變化時,子像素單元也會產(chǎn)生正負(fù)電流脈沖,來對 LIF(leaky integrate and fire)神經(jīng)元中的電容進(jìn)行充放電。
一旦電容的積分電壓也就是神經(jīng)元的膜電位,達(dá)到神經(jīng)元的閾值時就會輸出脈沖。
來源:傳感器專家網(wǎng)
相關(guān)產(chǎn)品
免責(zé)聲明
客服熱線: 15024464426
加盟熱線: 15024464426
媒體合作: 0571-87759945
投訴熱線: 0571-87759942
下載儀表站APP
Ybzhan手機(jī)版
Ybzhan公眾號
Ybzhan小程序