研究背景
隨著科技的不斷進步，假肢技術在改善截肢者生活質量方面取得了顯著成就。然而，截肢群體在就業方面仍面臨巨大挑戰，適齡截肢群體的就業率僅為健全群體的一半。目前的肌電假肢手在與計算機交互時存在諸多挑戰，特別是在使用標準計算機外設（如鼠標）時，由于假肢手剛性結構和設備形狀不規則的矛盾，截肢者常常面臨操作困難的問題，這直接影響了他們的工作效率和生活便利。
文章概述
針對上述問題，北京郵電大學方斌教授與清華大學李曙光教授團隊共同提出了一種新型軟體肌電假肢手。該軟體肌電假肢手旨在通過靈巧的軟體手指和“一對多”映射的肌電交互接口，提高截肢者使用假肢手操作物理鼠標的任務性能和用戶體驗。研究的核心動機在于探索如何通過創新的軟體假肢設計與交互控制策略，使截肢者能夠更加高效和輕松地完成多種光標控制任務。相關成果以“A Robotic Prosthetic Hand for Computer Mouse Operations”為題發表在《Advanced Intelligent Systems》上。
圖文導讀
軟體肌電假肢手系統的總體框架如圖1所示：首先，通過無線傳感器收集用戶的表面肌電信號，以作為手勢分類器的輸入；然后，分類器基于實時的表面肌電信號解碼用戶的運動意圖，識別并輸出手勢類別；最后，后處理算法根據相鄰時刻的手勢類別生成相應的鼠標操作控制指令，以驅動軟體假肢手執行對應的手指運動。
圖1 軟體肌電假肢手系統的總體框架圖：(a)表面肌電信號采集系統；(b)手勢分類器；(c)后處理算法；(d)軟體假肢手。
如圖2所示，本研究的軟體假肢手原型配備了兩個肌腱驅動的軟體手指和三個鰭狀手指。該軟體假肢手通過結合兩種不同類型的手指，能夠實現對不同尺寸鼠標的包絡抓握，并執行包括多樣化點擊、滾動滑輪和水平移動在內的多項鼠標操作。具體而言，由一對鰭狀手指組成的夾爪能夠實現靈活的鼠標平面移動，而另一個鰭狀手指則設計用于適應不同鼠標的表面曲率，以便實現滾動鼠標的滑輪。兩個肌腱驅動的軟體手指采用熱塑性聚氨酯材料構造，負責執行鼠標的左右鍵點擊操作。該軟體假肢手的總成本為434美元，整體重量為405.8克，連接到接受腔后其總長度接近于人手的長度。
圖2 軟體假肢手的結構設計：(a)整體示意圖；(b)手掌的下半部分；(c)手掌的上半部分和彎曲狀態的軟體手指；(d)用于滾輪操作的鰭狀中指。
圖3展示了本研究的算法設計原理，包括基于卷積神經網絡的手勢分類器和基于決策窗的后處理算法。其中，基于卷積神經網絡的手勢分類器通過接收表面肌電信號解碼用戶的運動意圖（手勢動作），而基于決策窗的后處理算法則負責建立手勢動作與鼠標操作之間的“一對多”映射。
如圖3(a)所示，基于卷積神經網絡的手勢分類器由一個輸入層、四個卷積模塊、兩個全連接層、一個輸出層組成。首先，原始二維肌電信號在輸入層中被轉換為三維圖像，作為卷積模塊的輸入；經過激活函數均為ReLu的卷積模塊和兩個全連接層后，特征向量輸入到具有SoftMax激活函數和四個隱藏單元的輸出層，以對應于三類手部運動和放松狀態。
分類器的輸出并不會立即生成控制指令，而是由基于決策窗的后處理算法根據相鄰時刻的分類器輸出，將單個手勢類別映射到多種鼠標操作，例如將對應于左鍵點擊的手勢類別映射到左鍵單擊、雙擊和長按操作。如圖3(b)所示，該算法旨在實現人類健全手通過運動單根手指完成多樣化鼠標操作的能力，從而克服肌肉激活模式和控制指令之間一對一映射所帶來的用戶訓練和控制負擔。
圖3 本研究算法設計：(a)基于卷積神經網絡的手勢分類器由一個輸入層、四個卷積模塊、兩個全連接層、一個輸出層組成；(b)基于決策窗的后處理算法通過最大計數法比較連續決策窗口的手勢類別輸出，并生成對應于鼠標操作的控制指令。
現有的研究主要集中于驗證基于表面肌電信號的光標控制方法在菲茨定律類型任務中的性能表現。本研究比較了所提出的軟體假肢手系統與肌電控制光標方法在兩種菲茨定律任務中的性能差異。此外，本研究還設計了一種典型的電腦辦公任務——跨文件夾的復制粘貼任務，旨在比較使用所提出的軟體假肢手系統與肌電控制光標方法在組合鍵盤完成任務時的表現差異。該任務還進一步評估了單側截肢者在同時使用鼠標和鍵盤與單手（健全側）操作鼠標之間的表現差異。圖4中的實驗結果表明，采用本研究的軟體假肢手系統進行鼠標操作時，用戶的任務完成時間顯著縮短，展現出更高的操作效率和更低的肌肉使用率，整體任務表現和用戶體驗均優于傳統的肌電控制光標方法。
圖4 菲茨定律類型任務的性能表現：健全受試和截肢受試在兩類菲茨定律類型任務中的(a)任務完成時間和(b)吞吐量；(c-d)所有受試在兩類菲茨定律類型任務中的平均表面肌電信號激活量。（*P<0.05, **P<0.01, ***P<0.001, ****P<0.0001）
本研究發現，截肢者使用假肢手操作鼠標能夠有效利用殘肢的自然運動，從而顯著減少用戶在操作過程中的控制負擔。此外，軟體假肢手系統的設計不僅提高了截肢者與計算機交互的靈活性與友好度，還展示了低位截肢者通過假肢手直接操作物理鼠標的可行性，強調為截肢者提供更廣泛的可供選擇有助于提高假肢設備的接受度。綜上所述，本研究通過創新設計和有效實驗驗證，為改善截肢者與計算機的交互能力提供了重要的理論和實踐依據，進一步探索了軟體假肢技術在未來發展的廣闊前景。
圖5 截肢受試使用軟體假肢手系統完成光標控制任務的驚喜瞬間
期刊簡介
Wiley旗下智能系統領域開放獲取旗艦刊。期刊收錄關于具有刺激或指令響應智能的人造裝置系統的研究，包括機器人、自動化、人工智能、機器學習、人機交互、智能傳感和程序化自組裝等前沿應用。Advanced Intelligent Systems最新的期刊引文指標1.11，期刊影響因子6.8，在計算機科學，人工智能和自動化與控制系統中分類皆為Q1。(源自Clarivate 2023)
