特別說明：本文由米測技術中心原創撰寫，旨在分享相關科研知識。因學識有限，難免有所疏漏和錯誤，請讀者批判性閱讀，也懇請大方之家批評指正。
原創丨米測MeLab
編輯丨風云
研究背景
高光譜成像可以捕獲物理世界的空間、時間和光譜信息，描述每個位置的固有光學特性。與多光譜成像相比，高光譜成像可獲得大量波長通道，并且與光譜法相比具有更優越的空間映射能力。這些高維信息可以精確區分顏色相似的不同材料，以更高的光譜分辨率和更寬的光譜范圍實現比人類視覺更智能的檢查。憑借這些優勢，高光譜成像已廣泛應用于遙感、機器視覺、農業分析、醫學診斷和科學監測等各個領域。
關鍵問題
然而，高光譜成像的研究主要存在以下問題：
1、現有的高光譜成像系統存在體積、重量和成本問題
現有的高光譜成像系統通常需要使用單個光學元件和機械部件進行掃描，這導致系統體積大、重量重、成本高，并且操作費時。這些問題限制了高光譜成像技術的廣泛應用，尤其是在需要輕便和低成本解決方案的場合。
2、高光譜成像存在空間和光譜分辨率之間的權衡
引入更多的窄帶濾光片雖然可以擴展成像傳感器的光譜范圍，但同時也會導致光吞吐量的浪費，并且可能降低空間分辨率。此外，現有的單片技術大多數覆蓋的光譜范圍較窄，光吞吐量低，且存在空間和光譜分辨率之間的固有權衡問題。
新思路
有鑒于此，北京理工大學邊麗蘅、張軍等人報告了一種具有高空間和時間分辨率的單片計算高光譜成像框架。通過在圖像傳感器芯片上集成不同的寬帶調制材料，目標光譜信息以非均勻的方式內在地耦合到每個像素，具有高光通量。使用智能重建算法，可以從每幀中恢復多通道圖像，實現實時高光譜成像。按照這個框架，作者使用光刻技術制作了一個寬帶可見光-近紅外（400-1,700nm）高光譜圖像傳感器，平均光通量為 74.8%，有 96 個波長通道。展示的分辨率為 1024×1024 像素，幀率為 124 fps。作者展示了它的廣泛應用，包括智能農業的葉綠素和糖分定量、人體健康的血氧和水質監測、工業自動化的紡織品分類和蘋果瘀傷檢測以及天文學的遠程月球探測。集成的高光譜圖像傳感器重量僅為幾十克，可組裝在各種資源有限的平臺上或配備現成的光學系統。該技術將高維成像的挑戰從高成本制造和笨重的系統轉變為可通過單片壓縮和敏捷計算解決的系統。
技術方案：
1、概述了HyperspecI工作原理
本工作開發的HyperspecI 傳感器集成了BMSFA掩模和寬帶單色圖像傳感器芯片，利用SRNet神經網絡高效重建高光譜圖像。
2、驗證了HyperspecI傳感器的定量和定性性能
HyperspecI 傳感器經實驗驗證，具有高光譜和空間分辨率，與商用光譜儀數據匹配，光通量高，低光照下表現優異，能實時動態成像。
3、展示了Hyperspecl傳感器在多領域的實際應用
作者展示了 HyperspecI 傳感器在智能農業監測和實時人體健康監測中的廣泛應用，驗證了 HyperspecI 技術的多功能性、靈活性和穩健性。
技術優勢：
1、開發了使用光刻技術的寬帶多光譜濾波器陣列 (BMSFA) 的制造技術
作者所報道的HyperspecI 傳感器采用了BMSFA制造技術。BMSFA 由不同空間位置的不同寬帶光譜調制材料組成，可以在整個寬光譜范圍內調制入射光，從而產生更高的光吞吐量，有利于低光和長距離成像應用。
2、展示了所開發創拿起在多個領域的實際應用能力
作者做了兩個可見光-近紅外高光譜圖像傳感器，并在智能農業的土壤植物分析開發、可溶性固體含量評估、人類健康的血氧和水質監測、工業自動化的紡織品分類和蘋果瘀傷檢測以及用于天文學的遠程月球探測展示了HyperspecI 技術的高信噪比 (SNR)、高分辨率、超寬帶和動態高光譜成像能力。
技術細節
HyperspecI原理
HyperspecI傳感器由寬帶多光譜濾波器陣列（BMSFA）和寬帶單色圖像傳感器芯片組成。BMSFA在光譜域中編碼高維信息，而圖像傳感器芯片獲取二維測量值。通過混合神經網絡SRNet，該傳感器能高效重建多通道高光譜圖像（HSI）。作者采用光刻技術制造BMSFA，利用有機材料與負性光刻膠制備寬帶光譜調制材料，并將其固化在石英基板上。BMSFA與CMOS和InGaAs圖像傳感器集成，實現高光譜精度和豐富的空間細節捕捉。SRNet在高光譜圖像重建的準確性和效率上優于現有算法。HyperspecI傳感器展示了其在多種應用中的潛力，包括智能農業、健康監測和工業自動化。
圖 HyperspecI技術的工作原理
HyperspecI性能
作者通過一系列實驗驗證了HyperspecI 傳感器的性能，包括光譜和空間分辨率。實驗結果顯示，傳感器能重建合成RGB格式的HSI，并與商用光譜儀收集的數據相匹配。HyperspecI-V1和V2的平均光譜分辨率分別為2.65nm和8.53nm，可分辨雙峰距離分別為3.23nm和9.76nm。空間分辨率測試表明，HyperspecI傳感器與商用單色相機相當，能區分約0.26mm寬的線。光通量比較顯示，HyperspecI-V1和V2的光通量遠高于其他技術。成像實驗表明，即使目標尺寸小于超像素，傳感器也能穩定、準確地重建光譜。在低光照條件下，HyperspecI傳感器表現出色，具有高光吞吐量和信噪比。實時成像性能展示中，HyperspecI傳感器在47 fps幀速率下進行動態成像，而傳統掃描相機無法捕捉。這些實驗證實了HyperspecI傳感器在寬光譜范圍、高分辨率、高光通量和實時幀率方面的優勢。
圖 HyperspecI傳感器的高光譜成像性能
圖 高光譜成像高分辨率、高光通量、實時性性能演示
智慧農業應用
HyperspecI傳感器在智能農業中展現了其非破壞性測量的潛力，特別是在SPAD和SSC的測量上。通過使用基于朗伯-比爾定律的SPAD檢測原理，HyperspecI傳感器能夠獲取葉片透射光譜，并建立回歸模型以預測葉綠素含量，精度高，均方根誤差為1.0532，相對誤差為3.73%。對于SSC的無損檢測，HyperspecI傳感器通過偏最小二乘回歸模型準確預測了蘋果的SSC，訓練集的校正系數為0.8264，測試集的校正系數為0.6162，均方根誤差為0.6132%，預測集的相對誤差為5.30%。這些結果突出了HyperspecI傳感器在農業應用中的潛力，尤其是在無損分析方面。
圖 HyperspecI傳感器在智能農業中的應用
對人類健康的應用
HyperspecI傳感器在健康監測領域展現出其動態高分辨率的優勢，尤其在血氧檢測和水質評估方面。該傳感器通過檢測動脈血液吸收變化來監測血氧飽和度，實現了高達100 Hz的收集幀率，與商用血氧儀的測量結果相比較，顯示出良好的一致性。在水質評估實驗中，HyperspecI傳感器能夠區分成分不同但顏色相似的溶液，通過光譜曲線和NIR范圍的光譜圖像輕松識別。這些實驗結果證明了HyperspecI傳感器在實時健康監測和水質評估方面的潛力，可作為傳統設備的便攜式替代品。
圖 HyperspecI傳感器在血氧和水質監測中的應用
工業自動化應用
HyperspecI 傳感器在紡織品分類和蘋果損傷檢測中展現了其近紅外高光譜成像的能力和準確性。在紡織品分類實驗中，通過獲取204個棉和滌綸樣本的反射光譜，使用SVM算法自動分類，測試階段分類準確率達到98.15%。對于蘋果損傷檢測，HyperspecI傳感器捕捉到擦傷區域在近紅外光下的光譜特征，通過YOLOv5檢測網絡，近紅外光譜圖像的檢測精度和召回率明顯高于RGB圖像，證明了其在捕捉關鍵光譜特征方面的優勢。這些應用展示了HyperspecI傳感器在工業自動化和農產品質量檢測中的潛力。
圖 HyperspecI 傳感器在紡織品分類和蘋果損傷檢測中的應用
展望
總之，本研究介紹了一種單片高光譜圖像傳感器技術HyperspecI，該技術遵循計算成像原理實現集成和高通量的高光譜成像。HyperspecI傳感器首先通過集成BMSFA和寬帶單色傳感器芯片獲取編碼的高光譜信息，然后使用深度學習重建高光譜圖像。大量實驗證明了HyperspecI傳感器在高空間光譜時間分辨率、寬光譜響應范圍和高光通量方面的優勢。
參考文獻：
Bian, L., Wang, Z., Zhang, Y. et al. A broadband hyperspectral image sensor with high spatio-temporal resolution. Nature 635, 73–81 (2024).
https://doi.org/10.1038/s41586-024-08109-1
