無人機競速的視覺處理與控制 - Pupil Labs

文章分類：產品應用

Image credit: Drone racing photo with logo removed from Wikimedia.

以下 節譯自 Pupil Labs' Blog - Human-Piloted Drone Racing: Visual Processing and Control by Doran Amos, Neil M. Thomas, Kai Dierkes

無人機駕駛員該如何利用視覺訊息競速？

想像一下，以極快的速度駕駛無人機，進行瞬間的眼球運動和操控，以沿著 3D 軌道穿過目標門。但是，與門相撞，這可能是您在排行榜頂部附近完成比賽的機會的終點。

歡迎來到激動人心的第一人稱視角 (FPV, first-person view) 無人機競賽世界，無人機飛行員透過無人機本身的攝影機串流影像來高速駕駛無人機。 2011 年開始在德國作為一項業餘運動，現已發展成為一項專業運動，最高級別的飛行員爭奪超過 100,000 美元的頭等獎。

人類能夠以比任何為智能無人機開發的演算法更快的速度駕駛無人機——但對無人機飛行員使用的視覺-運動協調策略所知之甚少。這些飛行員在駕駛無人機時會在何時何地看哪裡呢？他們的眼球運動策略可以告訴我們關於無人機飛行期間視覺和運動動作的最佳協調，以及飛行員如何避免與目標門發生碰撞而導致他們失去登上領獎台的位置？

在無人機競速比賽模擬器中記錄飛行員的眼球運動

為了調查這些問題，蘇黎世大學和蘇黎世聯邦理工學院的 Christian Pfeiffer 和 Davide Scaramuzza 收集了當地無人機競賽協會飛行員在無人機競賽模擬器中駕駛虛擬無人機時的眼動追蹤數據（請參閱原文圖 1A）。 連接到模擬器監視器的表面標記允許飛行員的眼球運動自動映射到螢幕上，使研究人員能夠分析與螢幕上顯示的虛擬環境相關的眼球運動。

在比賽時，飛行員使用操縱桿和來自無人機安裝的攝像頭的視覺回饋來導航兩條 8 字形軌道（“Flat”和“Wave”）。 每條賽道都標有九個門，飛行員必須通過這些門才算成功完成每一圈（請參閱原文圖 1B）。

飛行員追蹤目標門的特定區域

研究人員發現，在 Flat 和 Wave 軌跡中，飛行員在通過前一個目標門後立即注視每個門，大約提前 1.5 秒通過下一個門（請參閱原文圖 2A） 。

有趣的是，研究人員發現，當飛行員即將左轉時，他們會注視目標門的左側區域（目標門 1 和 3；請參閱原文圖 2B），反之亦然。 類似地，在 Wave 軌道中向下轉彎的飛行員（例如 Wave 軌道中的目標門 2）往往會注視目標門的下部區域。

導航大門需要適時的眼睛凝視運動

與閘門的碰撞可能會在比賽情況下失去寶貴時間，發生在所有圈數的三分之一左右。當研究人員調查眼睛凝視行為與碰撞事件之間的聯繫時，他們發現飛行員第一次注視目標門的時間往往晚於碰撞前，這表明眼睛注視時間在競速性能中至關重要。

最後，研究人員專注於了解飛行員接近每個目標門時眼球運動和運動動作之間的時間關係。他們的分析顯示，在飛行員使用操縱桿更改無人機的推力之前，大約 220 毫秒的眼睛注視角度發生了可靠的變化。這種 220 毫秒的視覺運動反應時間比汽車駕駛研究中的要快得多，使其更符合反應時間實驗的延遲。這表明無人機駕駛在轉彎通過目標門期間涉及視覺和運動事件之間的緊密協調。

實現更好的智能無人機導航演算法

通過將 Pupil Core 與無人機模擬器相結合，研究人員揭示了飛行員在無人機比賽中使用的新穎視覺-運動控制策略，這有助於開發智能無人機的演算法。 通過結合更像人類的軌跡規劃和固定策略，有可能開發用於搜索和救援任務的無人機，這些無人機可以導航到人類難以進入或危險的無 GPS 環境中。

Pupil Labs 祝賀作者的精彩研究。 我們期待未來的工作進一步研究人類對無人機等機器的控制如何為更智能的自主控制算法的開發提供信息。

You can read the full paper here: Pfeiffer, C., & Scaramuzza, D. (2021). Human-Piloted Drone Racing: Visual Processing and Control. IEEE Robotics and Automation Letters, 6(2), 3467-3474.

未來還會持續推出不同產品或應用方面的應用資訊喔！還請多多關注我們！

歡迎加入我們的社群頁面，隨時獲得最新消息！