Image credit: Cedric Fauntleroy

以下節自 Pupil Labs' Blog - Integrating Eye-Tracking into an Augmented Reality System for Surgical Training by Doran Amos, Neil M. Thomas, Kai Dierkes

整合眼動追蹤與擴增實境技術於外科手術訓練中的應用

擴增實境可以增強外科手術訓練嗎？

每天，全球約有 100 萬例的外科手術，為有需要幫助的人提供重要且攸關生命的手術治療。為了安全地執行這些手術，實習外科醫師必須學習一系列複雜且多階段的操作流程，這些流程需要記住詳細的步驟說明。例如，胸腔引流管置放術（chest tube insertion）是一種在緊急情況下用來引流肺部周圍空間的手術，外科醫師必須依序完成 20 多個步驟。然而，在練習外科手術技能時，同時掌握必要的資訊是一項挑戰，實習醫師往往得中斷練習，回頭重新閱讀相關指示。

阿爾伯塔大學（University of Alberta）的外科模擬研究實驗室研究人員，試圖利用擴增實境（Augmented Reality，AR）來改善外科手術訓練的方法。為了實現這個目標，他們將 Microsoft HoloLens 擴增實境眼鏡與 Pupil Labs HoloLens 附加裝置結合，後者為 HoloLens（第一代）加入了 Pupil Core 眼動追蹤功能（見圖 1）。
 

儘管先前已有為外科訓練開發的擴增實境系統，但這些系統並未設計能夠無縫地回應學員的行為。相反地，它們會持續顯示手術指示，或在學員不需要時顯示，造成不必要的干擾，進而對學員在手術操作上造成了不必要的干擾。

 圖 1. 將 Microsoft HoloLens（第一代）眼鏡與 Pupil Labs HoloLens 附加裝置結合的擴增實境／眼動追蹤頭戴裝置，用於外科手術訓練，附加裝置提供 Pupil Core 的眼動追蹤功能。

如何測試此套可依需求顯示指令的擴增實境系統？

研究團隊目的在於利用眼動追蹤技術建構一套擴增實境系統，該系統能夠根據學員的眼球運動，在需要時精準地提供手術指導。為了實現這一目標，研究人員利用 Pupil Labs 開源程式庫的可自訂性，修改了「HoloLens Relay」的外掛程式，讓眼動數據能在 Pupil Labs HoloLens 裝置與 HoloLens 之間相互傳輸。

為了測試這套系統，研究團隊設置了一個胸腔引流管留置的模擬訓練系統，包括一具塑膠人體模型，胸部插入部位放置一片柔軟的人工皮膚墊（見圖 2）。他們還在身體旁放置一張空白的硬紙板，以作為擴增實境投影指示的顯示螢幕。

在皮膚墊周圍及紙板上貼上方形的表面標記（surface markers），以便自動偵測學員的眼球運動區域範圍。當學員的視線移至指示顯示區域時，系統會立即在該區域顯示手術的逐步說明以協助學員；而當學員的注意力停留在皮膚墊的區域時，擴增實境的指示就會移除而不呈現，以避免分心。

圖 2.實習外科醫師配戴擴增實境/眼動追蹤頭戴式裝置，在塑膠假人身上練習胸腔引流管置放術（左圖），這是一種複雜的外科手術。眼動追蹤（右圖）用於確定實習醫師是否將注意力集中在插入部位周邊區域。為了盡可能地減少干擾，只有當實習醫師的視線轉向插入部位以外時，手術指導才會投射到擴增實境顯示器上。

邁向更為流暢連貫的外科訓練體驗

研究人員發現，該系統能夠為外科實習醫師提供良好的協助，並希望能進一步開發改良此技術。他們特別感興趣的是如何利用「瞳孔直徑變化」來自動偵測學員在學習過程中出現困難的時刻。偵測出這些時刻將能讓系統更加靈敏，使指導說明顯示的時間更加貼近其真實需求，進而促進更流暢的學習體驗。

Pupil Labs 有助於改善外科手術訓練方法

有鑑於 Pupil Labs 系統的可自訂性，研究人員成功開發了一款擴增實境工具，為實習外科醫師提供更無縫的學習體驗。利用眼動追蹤技術控制手術指導的顯示是一種創新的方法，讓實習醫師只需移動眼球，即可在適當的時機直覺性地獲得所需要的指導。

每年全球進行數以億計的外科手術，其中許多手術都攸關生命，因此讓外科醫師接受最佳訓練至關重要。我們 Pupil Labs 很榮幸自家的眼動追蹤眼鏡能成為其中的一部分，並祝福該研究的作者能持續推動這項重要技術的發展。

可以在此處閱讀全文：
Lu, S., Perdomo, Y. P. S., Jiang, X., & Zheng, B. (2020). Integrating Eye-Tracking to Augmented Reality System for Surgical Training. Journal of Medical Systems, 44(11), 1-7.

image credit:

Figure 2 image: Figure provided by the article's corresponding author.

未來還會持續推出不同產品知識或應用方面的文章喔！還請多多關注我們！

歡迎加入我們的社群頁面，隨時獲得最新消息！