【儀表網 儀表研發】在人工智能領域，人工神經網絡中被廣泛使用的反向傳播算法(Backpropagation，BP)采用全局優化策略，其性能卓越，但學習過程能量消耗大，缺乏靈活性。中國科學院自動化研究所、腦科學與智能技術卓越創新中心聯合研究團隊近期借助生物網絡中發現的介觀尺度自組織反向傳播機制(Self-backpropagation，SBP)，在更具效率和靈活性的類腦局部學習方法方面取得了重要進展。
 

　　SBP的發現最早可以追溯到1997年。中科院院士、中科院腦智卓越中心研究員蒲慕明團隊發現海馬體內的神經元可以將長時程抑制(Long-term depression，LTD)可塑性自組織地傳播到三個方向，分別是突觸前側向傳播(Presynaptic lateral spread)、突觸后側向傳播(Postsynaptic lateral spread)、反向傳播(Backpropagation)，該發現即自組織反向傳播神經可塑性機制(SBP)。后續研究證實，SBP現象具有普遍性，不僅覆蓋更多的神經區域如視網膜-頂蓋系統，還覆蓋更多的可塑性類型，如長時程增強(Long-term potentiation，LTP)。該機制的發生歸結于生物神經元內分子調制信號的天然逆向傳遞，被認為是可能導致生物神經網絡高效反饋學習的關鍵。
 

　　研究團隊受到該機制的啟發，對SBP的反向傳播方向(第三個方向)單獨構建數學模型(圖1A)，重點描述了神經元輸出突觸的可塑性可以反向傳播到輸入突觸中(圖1B)，可塑性的發生可以通過時序依賴突觸可塑性(Spike timing-dependent plasticity，STDP)，也可以通過人工局部梯度調節。在標準三層脈沖神經網絡(Spiking neural network，SNN)的學習過程中，SBP機制可以自組織地完成前一層網絡權重的學習，并且可以結合短時突觸可塑性(Short-term plasticity，STP)、膜電位平衡(Homeo-static membrane potential)等，形成更強大的SNN組合學習方法(圖1C)。在一類人工神經網絡(Artificial neural network，ANN)如受限玻爾茲曼機網絡(Restricted Boltzmann machine，RBM)的學習中(圖2A)，SBP機制可以替換迭代過程中部分BP機制，實現交替的協作優化(圖2B-E)。針對SNN和RBM的不同，科研人員分別設置了兩種不同的能量函數約束，來保證訓練過程中網絡參數學習的平穩性。此外，科研人員提出了統計訓練過程中能量消耗的新方法(圖3)。在圖片分類(MNIST)、語音識別(NETtalk)、動態手勢識別(DvsGesture)等多類標準數據集上，SBP機制通過組合其它可塑性機制，實現了更低能耗和更高精度的SNN局部學習(圖4)。在ANN-RBM的學習中，SBP機制也可以大量替換BP機制實現全局和局部交叉學習，在降低計算能耗同時卻不損失精度(圖5)。
 

　　科研人員認為，SBP是一類介觀尺度的特殊生物可塑性機制，該機制同時在SNN和ANN中獲得了廣泛的組合優化優勢，對進一步深入探索類腦局部計算具有啟示性。生物智能計算的本質可能是靈活融合多類微觀、介觀等可塑性機制的自組織局部學習，結合遺傳演化賦予的遠程投射網絡結構，實現高效的全局優化學習效果。該工作可以進一步引導生物和人工網絡的深度融合，最終實現能效比高、可解釋性強、靈活度高的新一代人工智能模型。
 

　　相關研究成果以Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks為題，于10月20日在線發表在Science Advances上。研究工作得到國家自然科學基金委員會、中科院戰略性先導科技專項(B類)等的資助。