特別說明：本文由米測技術中心原創撰寫，旨在分享相關科研知識。因學識有限，難免有所疏漏和錯誤，請讀者批判性閱讀，也懇請大方之家批評指正。
原創丨米測MeLab
編輯丨風云
（封面文章）
圖像傳感器在廣泛的應用中發揮著至關重要的作用，然而，在處理開放世界應用中的動態、多樣和不可預測的場景時面臨巨大挑戰。圖像傳感器向高速、高分辨率、大動態范圍和高精度發展受到功率和帶寬的限制。
基于此，清華大學施路平教授、趙蓉教授等人提出了一種受人類視覺系統啟發的互補感知范式，該范式涉及將視覺信息解析為基于基元的表示，并將這些基元組裝成兩條互補的視覺通路：一條用于準確認知的認知導向通路，一條用于快速響應的行動導向通路。為了實現這一范式，開發了一種名為 “天眸芯” 的視覺芯片，它結合了混合像素陣列和并行異構讀出架構。利用互補視覺通路的特點，“天眸芯”實現了高達10,000 fps的高速感知、130 dB的動態范圍及空間分辨率、速度和動態范圍方面的先進品質因數。此外，它還可以自適應地將帶寬降低 90%。作者展示了如何將“天眸芯” 芯片集成到自動駕駛系統中，展示其即使在開放道路上遇到具有挑戰性的極端情況時也能實現準確、快速和穩定的感知。基于原始的互補傳感范式有助于克服為各種開放世界應用開發視覺系統的基本限制。
互補視覺芯片的設計
“天眸芯”采用90納米CMOS背照式技術制造，由兩個核心部分組成：用于將光信息轉換為電信號的混合像素陣列和用于構建兩個CVP的并行異構讀出架構。沿兩條路徑傳播的電信號表現出不同的特征，包括數據分布和稀疏性的差異。這些差異需要使用不同的方法以適當的速度和精度將信號編碼為數字數據。為了應對這一挑戰，該芯片采用并行和異構讀出架構，該方法提供了自適應能力來減少帶寬并進一步提高AOP的運行速度。
圖 開放世界視覺感知的挑戰以及互補視覺范式的解決方案
圖 天眸芯片架構
天眸芯表征
作者對“天眸芯”芯片的量子效率、動態范圍、響應速度、功率和帶寬等性能指標進行了全面評估。該芯片在COP和AOP中都表現出高量子效率，通過利用互補COP和AOP中不同增益模式的動態范圍可實現高動態范圍。通過檢測最低功率密度2.71×10?3 μW?cm?2和最高功率密度8.04×103 μW?cm?2，實現了130?dB的整體動態范圍。“天眸芯”芯片的互補路徑可實現高空間分辨率和精度及在不可預測環境中的高穩定性。此外，“天眸芯”實現了先進的FOM，超越了現有的神經形態傳感器和傳統圖像傳感器，同時仍保持低功耗和低帶寬消耗。
圖 芯片評測總結
開放世界中的表現
為了在開放世界場景中評估芯片能力，作者開發了一個集成“天眸芯”芯片的汽車駕駛感知系統。評估在開放道路上進行，涉及各種極端情況，例如閃光干擾、高動態范圍場景、域移位問題（異常物體）和具有多個極端情況的復雜場景。實驗結果表明，“天眸芯”可以有效適應極端光環境并提供域不變的多級感知能力。
圖 開放世界感知實驗
參考文獻：
Yang, Z., Wang, T., Lin, Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629, 1027–1033 (2024).
https://doi.org/10.1038/s41586-024-07358-4
