近年來，實時運動感知已成為包括視覺監控、交通監測、自動駕駛等諸多動態視覺應用場景中的關鍵需求。運動通常蘊含著豐富的時空信息，要實現對運動的實時識別，需要在探測器端對時空信息進行同步編碼與處理。但是傳統的半導體圖像傳感器無法滿足上述需求，因此如何利用量子材料設計出可對運動信息進行同步編碼與處理的全新硬件，是一個廣泛關注的科學問題。
面向上述挑戰，近日，南京大學物理學院梁世軍副教授、繆峰教授團隊利用二維材料異質結中存儲電荷隨光刺激動態演化的特性，提出了“存內同步編碼與處理”的概念，利用器件陣列構建了視覺運動感知機，實現了對多種視覺運動模式（方向、速度、加速度和角速度）的并行感知。該工作為構建下一代智能機器視覺系統提供了全新的技術路線。相關研究成果以“Parallel perception of visual motion using light-tunable memory matrix”（利用光控記憶矩陣實現視覺運動的并行感知）為題于北京時間2023年9月30日發表在著名期刊Science Advances《科學·進展》上。我校物理學院副研究員潘璇和博士生施婧雯為共同第一作者，梁世軍副教授和繆峰教授為該工作的共同通訊作者。該工作得到了國家優秀青年科學基金、國家自然科學基金重點/面上項目、中科院先導B項目、中央高?；究蒲袠I務費、以及固體微結構物理國家重點實驗室、人工微結構科學與技術協同創新中心等的支持。
首先，研究團隊利用視覺運動的場景展示了并行感知的概念（如圖1所示）。在該場景中，車輛在三個不同時期（tp1, tp2, tp3）具有不同的運動模式，這些模式中所蘊含的豐富時空信息可通過包括線速度（v）、角速度（ω）、加速度（a）等在內的運動參數進行描述。研究團隊提出利用二維材料異質結光電器件的光可調記憶特性，可實現對這些運動模式中包含的時空信息進行同步編碼與計算，進一步，利用器件構成的陣列實現對上述運動參數的并行感知。
圖1：視覺運動信息并行感知的示意圖。行駛中車輛在不同時間段內（tp1，tp2與tp3）的運動模式可使用運動參數（V: 速度，W: 角速度，a: 加速度）進行表示。在時間段tp1內，車輛進行勻速直線運動；在時間段tp2內，車輛進行具有一定的速度與角速度的轉彎運動；在時間段tp3內，車輛進行加速直線運動。通過設計具有記憶功能的感知機，可實現對運動中所包含時空視覺信息的同步編碼和計算。如虛線框內的物理過程所示，器件內存儲電荷量的變化反應了入射光的時間變化。這種變化可被用來感知車輛在各個時間段內的運動信息。
隨后，研究團隊展示了所設計的二維材料WSe2/h-BN異質結器件的光電特性。器件結構如圖2A所示，雙極性材料WSe2作為感光層用于響應外部光信息，h-BN/Al2O3界面具有捕獲與存儲光生載流子的特性，金屬柵極對存儲的光信息進行調制。對器件的寫入與擦除操作如圖2B所示，在負柵極偏壓（Vg）下，當器件受到寫入光脈沖照射時，溝道區域出現空穴摻雜效應，導致溝道電流（Ids）顯著減小。撤除光源后，電流值仍保持穩定，說明寫入的光信息被非易失地存儲在器件中。進一步，通過施加擦除光脈沖，溝道電流值發生變化，器件傳輸特性曲線顯著移動，說明了光脈沖能夠對器件的存儲狀態進行調制（圖2C）。更為重要的是，當Vg處于一定范圍內時，電流變化量（ΔIds）與擦除次數線性相關，該特性可以通過Vg的幅度和極性來調控（圖2D, E）。這一器件行為為運動信息的編碼提供了物理基礎，使得運動感知機硬件的構建成為可能。
圖2：（A）基于WSe2/h-BN異質結構的5×5光電器件陣列的SEM俯視圖（左，比例尺：5 μm；右，比例尺：2 μm）。（B） 光電器件的編程-擦除操作。藍色與紅色陰影背景分別表示對器件進行編程與擦除操作。通過對器件施加-10V柵極電壓（Vg）與50 ms光脈沖實現編程操作。在編程過程中，溝道電流（Ids）從約8.3 μA急劇下降至6.2 A，隨后僅需50 ms光脈沖即可實現擦除操作，表現為Ids輕微下降10 nA。（C）連續光脈沖調制下光電器件的轉移特性變化。隨著注入光脈沖的數量從1增加到10，轉移特性曲線逐漸向右移動到原始狀態。（D）光電器件在Vg為-4V到-1V內的轉移特性曲線，其中電中性點呈現出持續右移的變化趨勢。（E-F）不同背柵電壓下電流變化 (ΔIds) 與擦除次數之間的線性關系。ΔIds基于Vg的極性可正可負。所有測量均在 1.75 V 的偏壓下完成。
利用上述異質結器件光控記憶的特性，研究團隊展示了如何利用異質結器件陣列進行高效時空運動信息編碼的過程（圖3）。由于運動會引起光強的時空變化，隨著物體進行運動，不同器件接受光照的次數會存在區別，導致各器件會輸出不同大小的電流，從而使得物體的時空運動信息被編碼在陣列中，并以電流映射（current mapping）的方式呈現。更為重要的是，即使在不均勻的時空光強變化下，該信息編碼方式也同樣有效。
圖3：輸入圖像的光強分布及其在器件陣列中的溝道電流（Ids）映射。（A-D）字母“J”在不同運動模式下的逐幀光強映射。每種模式由三幀組成（每幀光照時長為 50 ms），分別于t0、t1 和 t2 時刻投影到陣列上。在（A）中，物體在四個運動方向（右、左、下、上）以1步/Δt勻速運動。兩個相鄰幀之間的時間間隔被定義為單位時間（Δt），將兩個相鄰像素中心之間的距離定義為單位步長。以向右運動為例，物體可進行慢速（1步/Δt）或快速（2步/Δt）運動（圖B），勻速或加速運動（圖C），順時針轉動或逆時針轉動（圖D）。（E-H）不同運動模式（A-D）對應的器件陣列溝道電流Ids映射。圖像“J”的原始狀態在t0時刻被存儲到器件陣列中，在t1 和 t2時刻測量每個器件的Ids（由從淺紅色至深紅色的像素亮度級別表示），從而形成與各個運動模式相對應的獨特電流分布。所有測量均在 0 V 的背柵電壓下完成。
最后，研究團隊利用器件陣列成功構建了一種視覺運動感知機硬件。該感知機包括25個輸入神經元和10個細分為四個類別的輸出神經元，即方向、速度、加速度和角速度（圖4A）。在該陣列中，器件接收到的光強作為輸入信息，器件陣列的總電流作為輸出信息。每個類別中具有最大輸出電流的神經元代表了與輸入運動模式相匹配的運動參量。作為概念驗證，研究團隊將字母“J”的一個復雜運動模式（順時針旋轉的加速向右運動）投射到陣列上（圖4A左側），對其所包含的時空運動信息進行感知。圖4B-E展示了不同運動參量的模擬結果。隨著訓練周期數的增加，輸出電流曲線逐漸分離，表明該復雜運動模式中包含的“右移”，“緩慢”，“加速”和“順時針”運動特征可以被成功感知。這些模擬結果隨后也在實驗上得到了證實（圖4F-I）。該工作為應對動態視覺系統在高效并行感知運動信息方面所面臨的挑戰提供了可行且通用的技術途徑。
圖4：基于異質結器件陣列的視覺運動感知機。（A）視覺運動感知機的示意圖。字母“J”的一個復雜運動模式(順時針旋轉的加速向右運動)被投射到陣列上。每個輸出神經元生成了基于已訓練的權重（Vg）矩陣下的25個器件的總電流。僅有在最后一幀完成輸入后，被記錄的電流映射用作運動感知機的輸出。（B-E）每個運動參量（方向、速度、加速度、角速度）的識別準確率。具有最大電流值總和的曲線代表目標運動參量的識別結果。（F-I）不同運動參量的Vg映射和對應的Ids映射。
論文鏈接：
https://www.science.org/doi/10.1126/sciadv.adi4083
課題組主頁：
https://nano.nju.edu.cn/
