人類視覺神經元依靠事件驅動的高能效尖峰進行通信，而硅圖像傳感器則不然。生物系統和機器視覺技術之間的能量預算不匹配激發了用于尖峰神經網絡（SNN）的人工視覺神經元的發展。然而，缺乏多路復用數據編碼方案降低了SNN中人工視覺神經元模擬生物系統視覺感知的能力。鑒于此，來自西湖大學的朱博文博士、西安電子科技大學的王宏副教授等人研究出了一種人工視覺尖峰神經元，它能夠對外部視覺信息進行速率和時間融合（RTF）編碼。
文章要點：
1) 該研究證實，人工神經元可以以不同的尖峰頻率對視覺信息進行編碼（速率編碼），并實現精確且節能的首次尖峰時間（TTFS）編碼，并且，這種多路感官編碼方案可以提高人工視覺神經元的計算能力和效率；
2) 此外，研究表明，具有RTF編碼方案的基于硬件的SNN與真實世界的地面實況數據表現出良好的一致性，并在復雜條件下實現了對自動駕駛車輛的高度準確的轉向和速度預測，同時，多路RTF編碼方案證明了開發高效基于尖峰的神經形態硬件的可行性。
參考資料：
Li, F., Li, D., Wang, C. et al. An artificial visual neuron with multiplexed rate and time-to-first-spike coding. Nat. Commun. (2024).
DOI: 10.1038/s41467-024-48103-9
https://doi.org/10.1038/s41467-024-48103-9
