傳感器內計算已經成為下一代機器視覺的一種超快、低功耗技術。但是,由于對高性能設備和高效編程方案的需求,傳感器內計算系統的原位訓練仍然具有挑戰性。
有鑒于此,河北大學閆小兵教授、華南師范大學樊貞教授等通過實驗驗證鐵電光傳感器(FE-PS)的傳感器內人工神經網絡(ANN, artificial neural network)的原位訓練。
本文要點:
(1)
通過訓練得到的FE-PS器件具有自供電、快速(<30 μs)和多電平(>4 bits)光響應、長保留時間(50天)、高續航(109)、高寫入速度(100 ns)、小周期和器件間變化(分別為~0.66%和~2.72%)等優勢,這些都是原位訓練所需要的。此外,還提出了一種雙向閉環規劃方案,實現了FE-PS精確、高效的權值更新。
(2)
利用該編程方案,對基于FE-PS的傳感器內神經網絡進行原位訓練,用于自動駕駛原型車的交通標志識別。此外,這種傳感器內人工神經網絡的運行速度比馮·諾伊曼機器視覺系統快50倍。
這項研究為具有原位訓練能力的傳感器內計算系統的發展鋪平了道路,這可能會在新的數據流機器視覺任務中找到應用。
參考文獻
Lin, H., Ou, J., Fan, Z. et al. In situ training of an in-sensor artificial neural network based on ferroelectric photosensors. Nat Commun 16, 421 (2025).
DOI: 10.1038/s41467-024-55508-z
https://www.nature.com/articles/s41467-024-55508-z