人類駕駛無人機競速：視覺處理與控制 - Pupil labs

Image credit: Drone racing photo with logo removed from Wikimedia. First person drone view photo from Arxiv.org

以下節自 Pupil Labs' Blog - Human-Piloted Drone Racing: Visual Processing and Control 

人類駕駛無人機競速：視覺處理與控制

無人機飛行員如何在高速下利用視覺進行競速？

想像一下，你駕駛著無人機以極快的速度飛馳，透過迅速的眼球移動和操控，沿著 3D 軌跡穿越一個又一個的路徑檢查門。然而，一旦撞上檢查門，你可能就會失去進入排行榜前面的機會。

歡迎來到令人興奮的第一人稱視角（first-person view，FPV）無人機競速世界。在這項比賽中，飛行員使用遙控手把操控無人機，並透過無人機上安裝之攝影機所串流的即時影像來進行高速飛行。這項賽事於 2011 年在德國興起，最初只是一項業餘運動，如今已發展成為一項職業賽事，頂尖的飛行員們將爭奪超過 10 萬美元的冠軍獎金。

目前人類仍能以比任何已開發的自主無人機演算法以更快的速度進行無人機競速——但我們對於無人機飛行員所使用的視覺–動作協調策略仍所知甚少。這些飛行員在競速時究竟會在何時、看向何處？他們的眼動策略能告訴我們什麼關於在無人機飛行中最佳的視覺與動作協調方式呢？他們又是如何避免與那些會讓他們失去站上頒獎台機會的檢查門發生碰撞呢？

在無人機競速模擬器中記錄飛行員的眼動狀態

為了探討這些問題，蘇黎世大學（University of Zurich）和蘇黎世聯邦理工學院（ETH Zurich）的 Christian Pfeiffer 和 Davide Scaramuzza 收集了當地無人機競速協會的飛行員在無人機競速模擬器中駕駛虛擬無人機時的眼動追蹤數據（圖 1A）。模模擬器螢幕上安裝了表面標記，使得飛行員的眼動可以自動對應到螢幕上的位置，讓研究人員能夠分析眼動與螢幕中虛擬環境之間的關係。

在競速過程中，飛行員使用遙控手把操控，並透過來自無人機鏡頭的視覺回饋，駕駛無人機穿越兩條「8字型」的賽道（分別為「平面型（Flat）」和「波浪型（Wave）」）。每條賽道上都設有九個檢查門，飛行員必須穿越所有檢查門才算成功完成每一圈（圖1B）。

圖 1.使用模擬器研究人類駕駛無人機競速時的視覺運動協調能力。 （A）飛行員透過模擬器螢幕上顯示的無人機鏡頭視角進行競速，其眼動由 Pupil Core系統進行追蹤。 （B）飛行員需操控無人機穿越排列在兩條「8字型」賽道上的方形檢查門：其中「平面（Flat）」賽道的所有檢查門高度一致（飛行軌跡以黃色標示），而「波浪（Wave）」賽道則設有高低交錯的檢查門（飛行軌跡以紅色標示）。

飛行員會追蹤檢查門的特定區域

研究人員發現，無論是在「平面（Flat）」還是「波浪（Wave）」賽道中，飛行員通常會在通過前一個檢查門後，立即將視線轉向下一個檢查門，平均會在約1.5秒前就完成第一次注視（見圖 2A）。

有趣的是，研究人員還發現，當飛行員準備進行左轉時，他們會注視檢查門的左側區域（如第 1 與第 3 號門；見圖 2B ）；若是右轉，則會注視右側。同樣地，當遇到如「波浪」賽道中像第 2 號門那樣需要向下轉的情況時，飛行員則傾向注視檢查門的下方區域。

圖 2. ( A ) 研究人員分析了眼動注視數據，以找出飛行員在駕駛無人機通過每個檢查門時最有可能注視的位置和時間。其中，每個檢查門的關注區域（AOI, Area of Interest）以紅色方框表示，而疊加的熱區圖則使用冷暖色表示，顏色越暖色系代表眼動注視的機率越高。 ( B ) 平均注視位置圖顯示了在兩條虛擬跑道上進行左轉時，飛行員在各檢查門 AOI 中最有可能的注視位置。飛行員在水平以及垂直方向上，皆穩定地將視線集中在轉彎內側附近的檢查門區域。

通過檢查門需要精準的視線移動

在競速比賽中，撞上檢查門可能會讓飛行員損失寶貴的時間，這種碰撞事件在所有圈數中約佔了三分之一。當研究人員進一步探討眼動行為與碰撞事件之間的關聯時，他們發現：發生碰撞時，飛行員對檢查門的首次注視時間發生得較晚，這突顯出眼動注視時機對於在競速比賽中的表現至關重要。。

最後，研究人員著重探討了飛行員們在接近每個檢查門時，眼動與動作控制之間的時間關係。他們的分析顯示，在飛行員使用操縱桿改變無人機動力方向指令之前約 220 毫秒的時間，眼動角度就已出現穩定的變化。這 220 毫秒的視覺-動作反應延遲（visual–motor response latency）比汽車駕駛研究中的延遲還要快得多，所花費的時間更短，更接近於反應時間實驗中觀察到的延遲狀態。這表示無人機競速在穿越檢查門時，視覺和動作事件之間需要有高度地同步協調才能達到較佳的表現及效果。

邁向更優秀的自主無人機導航演算法

透過將 Pupil Core 系統與無人機模擬器結合，研究人員揭露了無人機飛行員在競速中所使用的新型態視覺-運動（visual–motor）控制策略，這可能有助於開發自主無人機的演算法。透過融入更類似人類的路徑/軌跡規劃和注視策略，未來或許可以開發出能夠進入 GPS 無法涵蓋、對人類而言困難或危險的環境去進行搜救任務的自主無人機。

期待未來能有更多關於人類如何操控無人機與其他機器的研究，進一步促進智慧自主控制系統的發展。

可以在此處閱讀全文: Pfeiffer, C., & Scaramuzza, D. (2021). Human-Piloted Drone Racing: Visual Processing and Control. IEEE Robotics and Automation Letters, 6(2), 3467-3474. 


Copyright: All figures reproduced from the original research article published on arXiv.org under the Creative Commons Attribution License (Attribution 4.0 International CC BY 4.0). Copyright holders: © 2021 Pfeiffer & Scaramuzza. Figures cropped and resized for formatting purposes and captions and legends changed to align with the present digest content. christian.pfeiffer@ieee.org

未來還會持續推出不同產品知識或應用方面的文章喔！還請多多關注我們！

歡迎加入我們的社群頁面，隨時獲得最新消息！