【儀表網(wǎng) 研發(fā)快訊】近期，電子科技大學(xué)信息與通信工程學(xué)院周軍教授團隊在類腦智能算法和芯片方向的成果分別發(fā)表在頂級會議AAAI和VLSI Symposium。
 

　　其中，類腦智能算法成果《CREST: An Efficient Conjointly-trained Spike-driven Framework for Event-based Object Detection Exploiting Spatiotemporal Dynamics》發(fā)表在人工智能領(lǐng)域頂級會議AAAI 2025。該論文通訊作者為周軍教授，周軍教授指導(dǎo)的博士生毛睿昕和碩士生申遨宇為共同第一作者。該工作提出了一種類腦事件驅(qū)動目標(biāo)檢測算法框架。事件相機具有高時間分辨率、寬動態(tài)范圍和低功耗，非常適合高速和弱光環(huán)境下的目標(biāo)檢測。脈沖神經(jīng)網(wǎng)絡(luò)SNN在事件驅(qū)動目標(biāo)識別與檢測中具有優(yōu)勢，但現(xiàn)有方法因訓(xùn)練效率低下，存在梯度消失和計算復(fù)雜度高的問題，尤其在深層SNN中表現(xiàn)突出。此外，當(dāng)前SNN框架難以有效處理多尺度時空特征，導(dǎo)致數(shù)據(jù)冗余和精度下降。為解決上述問題，本文提出了CREST，即一種支持聯(lián)合學(xué)習(xí)的脈沖驅(qū)動框架，用于挖掘事件驅(qū)動目標(biāo)檢測中的時空動態(tài)特性。結(jié)合學(xué)習(xí)規(guī)則可以加速SNN訓(xùn)練并緩解梯度消失，同時支持兩種訓(xùn)練模式，便于在不同硬件平臺上靈活高效地部署。此外，該框架還包括脈沖驅(qū)動的多尺度時空事件特征提取器(MESTOR)和時空IoU損失函數(shù)(ST-IoU)。實驗結(jié)果表明，CREST在三個數(shù)據(jù)集上實現(xiàn)了出色的目標(biāo)識別和檢測性能，并大大提高了計算能效，為面向硬件實現(xiàn)的類腦事件驅(qū)動目標(biāo)檢測算法提供了一種高效的解決方案。
 

　　類腦智能芯片成果《FSNAP: An Ultra-Energy-Efficient Few-Spikes-Neuron based Reconfigurable SNN Processor Enabling Unified On-Chip Learning and Accuracy-Driven Adaptive Time-Window Tuning》發(fā)表在芯片設(shè)計領(lǐng)域頂級會議VLSI Symposium 2024，是電子科技大學(xué)在人工智能芯片領(lǐng)域的首篇VLSI Symposium頂會論文。該論文的通訊作者為周軍教授，周軍教授指導(dǎo)的博士生毛睿昕為第一作者。該工作提出了一種極高能效的類腦學(xué)習(xí)/推理一體化芯片架構(gòu)，并完成了芯片流片驗證。SNN處理器因其低功耗特性被視為人工神經(jīng)網(wǎng)絡(luò)(ANN)處理器的高能效替代方案。基于泄漏整合放電(LIF)神經(jīng)元，需較大時間窗口和大量脈沖以實現(xiàn)高精度，導(dǎo)致計算能耗高、時延長。這些處理器通常僅支持基于脈沖的反向傳播學(xué)習(xí)或ANN到SNN的轉(zhuǎn)換學(xué)習(xí)，靈活性受限。此外，大多數(shù)處理器還使用固定的編碼時間窗，適應(yīng)性差，能效較低。為解決上述問題，本研究提出了一種基于少量脈沖神經(jīng)元(FSN)模型的高能效SNN處理器——FSNAP， 它具有：(1)基于FSN的可重構(gòu)推理與學(xué)習(xí)架構(gòu)，通過跳時間步脈沖累加技術(shù)和并行脈沖生成技術(shù)，提升計算效率并降低時延；(2)統(tǒng)一片上學(xué)習(xí)架構(gòu)，支持低復(fù)雜度的多種在線學(xué)習(xí)模式，提升推理準(zhǔn)確率與靈活性；(3)基于準(zhǔn)確率驅(qū)動的自適應(yīng)時間窗調(diào)整技術(shù)，在保證高精度的同時降低能耗與延遲。FSNAP采用55nm CMOS工藝，在相同或相似規(guī)模任務(wù)中，相較于現(xiàn)有SOTA設(shè)計，能效和加速比都顯著提高，同時保證了較高的準(zhǔn)確率。
 

圖1 CREST算法的整體框架
 

圖2 FSNAP芯片總體架構(gòu)圖
 

　　傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)(ANN)是人腦高度簡化的數(shù)學(xué)抽象，使用連續(xù)的幅度表示信息，盡管準(zhǔn)確率很高，但是需要大量的乘加運算，因此能耗很大。脈沖神經(jīng)網(wǎng)絡(luò)(SNN)仿照了人腦事件驅(qū)動的機制進行計算，使用稀疏脈沖串的頻率和發(fā)放時間來表示不同的信息，具有計算量低，能耗低的特點。現(xiàn)有的類腦計算芯片主要有幾個問題：1. 幾乎都基于泄露-積分-發(fā)射(LIF)神經(jīng)元，這種神經(jīng)元的編碼效率很低，通常需要很大的編碼時間窗，發(fā)放很多的脈沖才能達到很高的準(zhǔn)確率，這會增加能耗和時延。2. 僅支持固定編碼時間窗來進行前向推理，適應(yīng)性較差，能效較低。3. 僅支持單一的SNN學(xué)習(xí)方式(基于脈沖的反向傳播和ANN到SNN轉(zhuǎn)換的方法)，缺乏針對不同應(yīng)用的適應(yīng)性。針對以上問題，團隊設(shè)計了超低能耗的FSNAP芯片，該芯片具有可重構(gòu)的SNN推理和學(xué)習(xí)架構(gòu)，支持跳時間步脈沖累加技術(shù)以及并行的脈沖發(fā)放技術(shù)，從而實現(xiàn)高能效、低延時。同時，提出了一種準(zhǔn)確率驅(qū)動的自適應(yīng)調(diào)窗技術(shù)來進一步降低能耗、時延同時保持高準(zhǔn)確率。此外，設(shè)計了統(tǒng)一的在線學(xué)習(xí)架構(gòu)，支持3種在線學(xué)習(xí)模式，從而增加芯片針對不同應(yīng)用的適應(yīng)性。芯片采用55nm制造，與現(xiàn)有的先進設(shè)計在相同或相似的任務(wù)上相比，能效和加速比都顯著提高。
 

　　周軍教授團隊致力于端側(cè)AI算法與芯片協(xié)同設(shè)計，團隊發(fā)表了電子科大在AI芯片領(lǐng)域今為止的全部四篇ISSCC(芯片設(shè)計領(lǐng)域奧林匹克會議)，以及電子科大在AI芯片領(lǐng)域的首篇HPCA(體系結(jié)構(gòu)領(lǐng)域頂級會議)、VLSI(芯片設(shè)計領(lǐng)域頂級會議)、CICC(芯片設(shè)計領(lǐng)域頂級會議)和DAC(芯片設(shè)計自動化領(lǐng)域頂級會議)文章，結(jié)合算法與芯片協(xié)同創(chuàng)新，設(shè)計并實現(xiàn)了面向視覺感知、聲音感知、智能穿戴等應(yīng)用的多款超低功耗端側(cè)AI芯片，在滿足準(zhǔn)確率、實時性需求的同時，達到了國際同類設(shè)計最低能耗。相關(guān)技術(shù)已轉(zhuǎn)化應(yīng)用到中科曙光、華大電子、深圳中微半導(dǎo)體等知名公司，以及相關(guān)科研單位，服務(wù)國家重大需求和社會經(jīng)濟發(fā)展。