QQ在線
企業(yè)微信
資訊
298近日，中國(guó)科學(xué)院微電子研究所劉明院士團(tuán)隊(duì)和復(fù)旦大學(xué)教授劉琦團(tuán)隊(duì)在多模態(tài)神經(jīng)形態(tài)感知研究方面取得進(jìn)展。
圖1生物軀體感覺(jué)系統(tǒng)與人工體軀體感覺(jué)系統(tǒng)，a為人手感知杯子的溫度、重量和水杯形狀的示意圖；b為由MFSN陣列和SNN分類(lèi)器組成的人工軀體感覺(jué)系統(tǒng)模擬觸覺(jué)感知的示意圖，圖片來(lái)自中科院微電子所前述團(tuán)隊(duì)共同研發(fā)了一種結(jié)構(gòu)緊湊的多模態(tài)融合感知脈沖神經(jīng)元(MFSN)陣列，并將其與脈沖神經(jīng)網(wǎng)絡(luò)(SNN)結(jié)合，構(gòu)建了一種人工多模態(tài)感知系統(tǒng)。該成果使構(gòu)建高效的多模態(tài)脈沖感知系統(tǒng)成為可能，為發(fā)展高智能機(jī)器人技術(shù)提供了新思路，并發(fā)表在國(guó)際材料領(lǐng)域期刊《先進(jìn)材料》(Advanced Materials)上。
圖片來(lái)自《先進(jìn)材料》(Advanced Materials)人類(lèi)軀體感受系統(tǒng)中的多模態(tài)感知可幫助人們獲得更全面的物體屬性，并對(duì)物體的狀態(tài)做出準(zhǔn)確判斷，尤其是不同受體的感覺(jué)信號(hào)在一定條件下可被神經(jīng)元整合，并發(fā)送到大腦皮層作進(jìn)一步處理（圖1a）。與單模態(tài)感知相比，多模態(tài)融合感知在評(píng)估物體屬性和提高物體識(shí)別精度方面具有明顯優(yōu)勢(shì)。在傳統(tǒng)的人工感知系統(tǒng)中，多模態(tài)信息的處理多采用串行計(jì)算架構(gòu)，傳感信號(hào)需轉(zhuǎn)換為數(shù)字模式才能被處理器處理，產(chǎn)生較大功耗和通信帶寬開(kāi)銷(xiāo)。
此外，傳統(tǒng)半導(dǎo)體技術(shù)在脈沖域構(gòu)建多模態(tài)感知系統(tǒng)方面，還面臨著器件集成和電路復(fù)雜性方面的挑戰(zhàn)。因此，迫切需要開(kāi)發(fā)更高效的多模態(tài)融合感知硬件方案。生物感知系統(tǒng)具有并行分布式感官信息處理、低能耗、高容錯(cuò)性等特點(diǎn)，顯示出克服傳統(tǒng)困境的重要潛力。
此次，中科院微電子所劉明團(tuán)隊(duì)和復(fù)旦大學(xué)劉琦團(tuán)隊(duì)研發(fā)了結(jié)構(gòu)緊湊的多模態(tài)融合感知脈沖神經(jīng)元(MFSN)陣列，該陣列由異質(zhì)集成的壓力傳感器和NbOx憶阻器構(gòu)成（圖1b）。其中，壓力傳感器用來(lái)感知壓力，NbOx憶阻器用來(lái)產(chǎn)生脈沖輸出并感知溫度變化。當(dāng)壓力和溫度兩種激勵(lì)同時(shí)作用于MFSN時(shí)，多模態(tài)的模擬感覺(jué)信息可以融合為一個(gè)脈沖序列，顯示出優(yōu)異的數(shù)據(jù)壓縮和脈沖轉(zhuǎn)換能力。
此外，研究人員通過(guò)解耦輸出脈沖的頻率和振幅，還可從融合信號(hào)中獲得獨(dú)立的壓力和溫度信息，支持了神經(jīng)元對(duì)于單模態(tài)信息的保真度和多模態(tài)感知能力。團(tuán)隊(duì)進(jìn)一步將MFSN陣列與脈沖神經(jīng)網(wǎng)絡(luò)結(jié)合，構(gòu)建了一種人工多模態(tài)感知系統(tǒng)，成功模擬了人體軀體感覺(jué)系統(tǒng)中的多模態(tài)信息（溫度和壓力）感知和多模態(tài)物體（即不同溫度、重量和形狀的物體）的分類(lèi)能力。
前述成果有助于在未來(lái)進(jìn)一步構(gòu)建高效的多模態(tài)脈沖感知系統(tǒng)，并為發(fā)展高智能機(jī)器人技術(shù)提供新思路。
