通訊作者：柴揚(yáng)，Jong-Hyun AhnDOI: 10.1038/s41565-023-01379-2“動(dòng)態(tài)視覺信息”是指隨著時(shí)間變化而改變的視覺信息，如視頻流。相比于靜態(tài)圖片，動(dòng)態(tài)視覺信息的處理往往需要大量的計(jì)算資源，并造成大的能耗和時(shí)耗。對(duì)于許多應(yīng)用，如監(jiān)控系統(tǒng)、無(wú)人機(jī)、移動(dòng)機(jī)器人和自動(dòng)駕駛汽車，高效處理動(dòng)態(tài)視覺信息的能力至關(guān)重要。飛行昆蟲的小型視覺系統(tǒng)向研究人員提供了一種值得借鑒的仿生模型。飛行昆蟲可以敏捷地感知現(xiàn)實(shí)世界的運(yùn)動(dòng)，這使它們能夠在混亂和不確定的環(huán)境中快速做出反應(yīng)。通過(guò)借鑒仿生學(xué)原理，可以將動(dòng)態(tài)視覺信息的處理轉(zhuǎn)化為更加高效的方式，并應(yīng)用于各種領(lǐng)域，包括物聯(lián)網(wǎng)、機(jī)器人和自動(dòng)化等。香港理工大學(xué)柴揚(yáng)課題組聚焦于感算融合（in-sensor computing）并應(yīng)用到人工視覺系統(tǒng)（Nature, 2020, 579, 32-33; Nature Electronics, 2020, 3, 664-671; Nature Electronics, 2022, 5, 483-484），之前展示了針對(duì)于靜態(tài)圖像的襯度增強(qiáng)（Nature Nanotechnology, 2019, 14, 776-782）以及不同光強(qiáng)背景下的視覺適應(yīng)（Nature Electronics, 2022, 5, 84-91; Nature, 2022, 602, 364）。近日，柴揚(yáng)課題組及其合作者通過(guò)制備仿生昆蟲視覺系統(tǒng)的梯級(jí)神經(jīng)元，有效地編碼了時(shí)間和運(yùn)動(dòng)信息，采用20×20的光傳感器陣列，可以有效檢測(cè)視野中的運(yùn)動(dòng)物體軌跡。在相同的網(wǎng)絡(luò)架構(gòu)下，基于仿生神經(jīng)元來(lái)感知移動(dòng)小球的運(yùn)動(dòng)，識(shí)別率達(dá)到99.2％，遠(yuǎn)高于基于傳統(tǒng)視覺傳感器的識(shí)別率(約50%)。視覺系統(tǒng)對(duì)視覺信息的感知速度可以通過(guò)閃爍融合頻率（大致是視覺暫留時(shí)間的倒數(shù)）來(lái)半定量描述。果蠅的閃爍融合頻率約為 100 Hz，而人眼的閃爍融合頻率約為25 Hz。飛行昆蟲具有敏捷的運(yùn)動(dòng)感能力，主要有2方面原因：（1）他們微小的視覺系統(tǒng)大大縮短了視網(wǎng)膜（傳感器）和大腦（計(jì)算單元）之間的信號(hào)傳輸距離。(2) 視覺細(xì)胞在感光后會(huì)釋放神經(jīng)遞質(zhì)，梯級(jí)神經(jīng)元接收神經(jīng)遞質(zhì)并進(jìn)行含時(shí)信息的編碼，梯級(jí)神經(jīng)元的信號(hào)傳輸速率達(dá)到 1650 bit/s，比脈沖神經(jīng)元 (300 bit/s) 高約 4倍。脈沖神經(jīng)元中不應(yīng)期的存在極大地限制了信息傳遞的速度。
圖1. 昆蟲視覺系統(tǒng)基于梯級(jí)神經(jīng)元進(jìn)行迅捷的運(yùn)動(dòng)感知柴揚(yáng)課題組研發(fā)了能夠仿生果蠅梯級(jí)神經(jīng)元功能的光電晶體管。這些光電晶體管,是利用具有淺電荷捕獲中心的二硫化鉬作為導(dǎo)電溝道。光刺激會(huì)在二硫化鉬薄膜中產(chǎn)生光生載流子，這些載流子模仿視網(wǎng)膜的光電轉(zhuǎn)換過(guò)程。這些光傳感器可以通過(guò)非線性積累在時(shí)間域內(nèi)逐漸累加光刺激，并在撤掉光后回到基態(tài)（易失性行為），從而模擬梯級(jí)神經(jīng)元的特性。柴揚(yáng)課題組測(cè)試了仿生傳感器在一系列連續(xù)光脈沖下的光響應(yīng)，器件在時(shí)間上的編碼特性類似于昆蟲的梯級(jí)神經(jīng)元。
圖2. 具有編碼視覺時(shí)序信息能力的仿生梯級(jí)神經(jīng)元基于仿生梯級(jí)神經(jīng)元的時(shí)域特性，光電器件可以高效編碼時(shí)序信息。使用能夠編碼時(shí)空視覺信息并展示運(yùn)動(dòng)軌跡輪廓的光傳感器陣列（20×20像素），可以感知?jiǎng)討B(tài)運(yùn)動(dòng)。仿生傳感器陣列通過(guò)幀間信息非線性疊的方式輸出時(shí)空運(yùn)動(dòng)信息，從而清晰地展示從左到右的整個(gè)運(yùn)動(dòng)軌跡的輪廓。當(dāng)運(yùn)動(dòng)沿反向方向進(jìn)行時(shí)，傳感器陣列可以感知到運(yùn)動(dòng)的反向輪廓。相比之下，傳統(tǒng)的互補(bǔ)型金屬氧化物半導(dǎo)體圖像傳感器只能輸出運(yùn)動(dòng)的最新幀，缺乏編碼時(shí)間視覺和感知運(yùn)動(dòng)的能力。人工梯級(jí)神經(jīng)元還可以感知靠近/遠(yuǎn)離運(yùn)動(dòng)。隨著傳感器和物體之間的距離減小，在視野中的投影尺寸增大。光電流映射輪廓呈現(xiàn)擴(kuò)張?zhí)卣?，表明物體靠近運(yùn)動(dòng)。當(dāng)物體離開時(shí)，光電流輪廓顯示出收縮特征。
圖3 實(shí)現(xiàn)運(yùn)動(dòng)感知的仿生光電傳感器陣列仿生視覺傳感器可以融合一系列幀的時(shí)空信息，有利于神經(jīng)網(wǎng)絡(luò)進(jìn)行高效的動(dòng)作識(shí)別。圖4對(duì)比了在相同小型人工神經(jīng)網(wǎng)絡(luò)下，基于仿生視覺傳感器和傳統(tǒng)圖像傳感器對(duì)小球運(yùn)動(dòng)的感知和識(shí)別結(jié)果。經(jīng)過(guò)約10次訓(xùn)練后，基于仿生視覺傳感器的動(dòng)作識(shí)別精度可以達(dá)到99.2％，比基于傳統(tǒng)圖像傳感器的精度（約50％）高很多。仿生視覺傳感器的高識(shí)別率源于融合了整個(gè)動(dòng)作的時(shí)空信息。人工梯級(jí)神經(jīng)元可以直接感知和編碼時(shí)間信息，這種仿生視覺傳感器為在有限計(jì)算資源下敏銳地進(jìn)行動(dòng)作識(shí)別提供了有效的方案。
圖4. 基于仿生和傳統(tǒng)傳感器的動(dòng)作感知與識(shí)別二硫化鉬光電晶體管通過(guò)仿生梯級(jí)神經(jīng)元的功能，實(shí)現(xiàn)了高信息傳輸速率，并能夠直接感知和編碼單像素級(jí)的時(shí)序信息。仿生視覺傳感器陣列可以編碼時(shí)空視覺信息并顯示軌跡的輪廓，可以在有限的硬件資源下準(zhǔn)確感知運(yùn)動(dòng)，動(dòng)作識(shí)別的準(zhǔn)確性可達(dá)99.2％，比使用傳統(tǒng)圖像傳感器（約50％）高很多。仿生昆蟲光電器件適用于分布式監(jiān)控系統(tǒng)、無(wú)人機(jī)控制和自動(dòng)駕駛汽車等領(lǐng)域，以較少的硬件資源、能耗和網(wǎng)絡(luò)架構(gòu)參數(shù)，實(shí)現(xiàn)動(dòng)態(tài)視覺信息的感知和處理。第一作者陳杰威博士是香港理工大學(xué)博士后，研究方向是低功耗拓?fù)渚w管以及感算一體仿生光電晶體管。主要基于拓?fù)洳牧虾投S半導(dǎo)體制備信息功能器件，對(duì)器件進(jìn)行了磁、電、光和離子等多種方式的調(diào)控。近3年作為第一作者在知名學(xué)術(shù)期刊上發(fā)表了多篇研究性論文，包括Nat. Nanotech., Sci. Adv., Nat. Commun., Adv. Mater.等。柴揚(yáng)課題組目前招收具有電子器件物理背景的博士后和博士生，感興趣的同學(xué)可以發(fā)簡(jiǎn)歷到ychai@polyu.edu.hk
