EMG 和視覺的多模態融合用於假手控制中的人類抓握意圖推斷 - Pupil Labs

文章分類：產品應用

Photo by ThisIsEngineering from Pexels

以下譯自 Pupil Labs' Blog - Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control by Doran Amos, Neil M. Thomas, Kai Dierkes

使用更好的功能性義肢提高截肢者的生活品質

2005 年，美國估計有 160 萬人失去了一條或多條肢體，預計到 2050 年這一數字將翻一番。大約 80% 失去一隻或雙手的上肢截肢者目前使用裝飾義肢，不能恢復家庭和工作中日常任務所需的功能。

為了讓它在日常生活中無縫使用，義肢需要模仿人類的自然行為，即在到達物體之前預先形成手的抓握類型——但是創建這樣一個可靠和直觀地做到這一點的功能性義肢是一個挑戰。

人工智慧 (AI) 驅動的功能性義肢旨在透過允許根據環境和生理訊號提前推斷佩戴者的預期手臂和手部運動來解決這個問題。

結合肌電圖和眼動追蹤來改善功能性義肢

現有的人工智慧驅動的功能性義肢專注於使用單一數據源來指導義肢機器人手臂和手的伸手和抓握動作。但是，僅從一個來源推斷預期的操作可能不可靠並且容易出錯。

例如，記錄前臂肌肉的肌電圖 (EMG) 信號為截肢者控制機器人假肢提供了一種直觀的方式。然而，隨著記錄電極的移動或皮膚阻抗隨時間的變化，錯誤可能會逐漸蔓延。

最近，美國馬薩諸塞州波士頓東北大學嵌入式系統實驗室的 Gunar Schirner 領導的一個研究小組調查了結合來自兩個獨立來源的數據是否有助於提高功能性義肢的性能。

他們試圖為機器人假肢開發一種混合 EMG-視覺 AI 演算法，該演算法將來自前臂肌肉的 EMG 記錄與來自 Pupil Core 頭戴式眼動儀的世界相機和眼睛注視數據相結合，以預測不同物體所需的抓握類型（參閱原文圖 1 ）。

利用人工智慧預測抓握類型

為了訓練和測試混合 AI 算法，一組沒有肢體損傷的受測者被要求使用預定義的抓握類型來拾取各種物體，例如： 帶有“遠端握把”的剪刀，或帶有“手掌握把”的橡皮擦（參閱原文圖 2）。

在作業期間記錄了實景相機、眼睛注視和 EMG 信號，然後分割成定義的到達、抓握/移動和休息階段（參閱原文圖 3）。

實景相機數據用於訓練視覺分類器，以從 53 個預定義的可能性中識別受測者視野中的對象，以及它們相應的抓握類型。 然後根據分類器定義的邊界框，使用眼睛注視位置在視野中的潛在感興趣對象之間進行選擇。 同時，EMG 分類器被訓練以使用來自受試者前臂的 EMG 信號來識別最可能的抓握類型。

對 AI 進行基準測試

研究人員想調查“融合”兩個分類器的概率是否會提高確定正確抓握類型的準確性和速度。 首先，他們通過分析在到達、抓握和返回階段的每個時間點的抓握類型估計的準確性，單獨檢查了 EMG 或視覺分類器的性能。

肌電圖分類器

當將 EMG 分類器應用於未用於訓練的任務數據時，結果表明，在大多數到達和抓握階段，它在識別正確抓握類型方面的準確率超過 80%，準確率在開始時達到峰值的抓取（參閱原文圖 3，藍線）。

此外，該分類器能夠在抓握開始之前很好地預測正確的抓握類型，這將使功能性義肢中的機器人手有時間預先形成其抓握類型。

視覺分類器

接下來，研究人員分析了視覺分類器在識別不同任務階段的正確對象和相應抓取類型方面的準確性。分類器在大多數階段的準確率約為 85%，儘管在抓取階段和相鄰時間段該準確率下降了約 20%，這可能是因為受試者的手臂和手遮擋了物體（參閱原文圖 3，橙色線）

組合分類器

最後，研究人員計算了融合 EMG 和視覺分類器預測正確抓握類型的準確度。與單獨的分類器相比，組合分類器的平均預測準確度提高了約 15%（參閱原文圖 3，綠線）。

重要的是，視覺分類器和 EMG 分類器的預測互補性很好，因為 EMG 分類器在到達和抓取階段具有最高的準確度，而視覺分類器則顯示相反的模式。

邁向更有效的人工智慧驅動的功能性義肢

在他們引人入勝的研究中，研究團隊通過將來自 Pupil Core 頭戴式眼動儀的實景相機和眼睛注視數據與前臂 EMG 記錄相結合，成功地提高了功能性義肢的抓握類型預測的準確性。 至關重要的是，研究人員開發的算法能夠在到達物體之前很好地預測正確的抓握類型。

我們 Pupil Labs 讚揚研究團隊成功開發了有效的方法來融合多種信息源以準確預測抓握類型。 我們希望他們的開創性工作能夠創造出更好的功能性義肢，能夠無縫、類似人類的伸手可及和抓握，從而有助於提高全球上肢截肢者的生活品質。

You can read the full paper here: Zandigohar, M., Han, M., Sharif, M., Gunay, S. Y., Furmanek, M. P., Yarossi, M., ... & Schirner, G. (2021). Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control. arXiv preprint arXiv:2104.03893.

未來還會持續推出不同產品或應用方面的應用資訊喔！還請多多關注我們！

歡迎加入我們的社群頁面，隨時獲得最新消息！