應用教學
應用教學
移動與觀看:在藝術和建築的 3D 探索中重構空間凝視 - Pupil Labs
JAN 14 ,2025
Image credit: Prof. Eugene Han
以下譯自 Pupil Labs' Blog - Moving and seeing: Reconstructing spatial gaze during 3D explorations of art and architecture by Doran Amos, Richard Dewhurst, Neil M. Thomas, Kai Dierkes
移動與觀看:在藝術和建築的 3D 探索中重構空間凝視
人們如何看待 3D 藝術和建築作品?
無論是探索城市的某個新區域,還是觀賞公共空間中的雕塑,四處走動,從不同的角度觀察事物,是與現實世界建立和諧關係的重要關鍵。
尤其在藝術與建築的領域,我們對雕塑或建築作品的美學欣賞,往往取決於我們在空間中如何與之相遇。我們會選擇花時間觀察作品或建築的哪些特徵?為了從不同的觀點欣賞它,我們又是如何相對於作品去進行移動的?
雖然以體現的視覺方式探索世界對我們來說是如此直觀,但開發精確且穩健的方式來重建我們與周遭環境的空間視覺旅程在技術上是非常具有挑戰性的。
儘管如此,透過將穿戴式眼動儀與以電腦視覺為基礎為基礎的定位追蹤相互結合,Lehigh University 的 Eugene Han 教授正面迎接了這一項挑戰。他想看看這些技術是否能夠同時追蹤個體相對於其周圍環境 3D 模型中的位置、頭部方向和注視方向。
透過整合這些資訊來源,他成功地描繪出人們在遇到藝術和建築作品時選擇觀看環境中哪些位置(以及觀看的時間長短)。
發展嶄新的 3D 凝視和移動追蹤系統
為了建立他的 3D 凝視和移動追蹤系統(圖1),Han 教授開發了一款可穿戴的頭戴式裝置,將 Pupil Invisible 眼動儀與輕便裝置(Intel T265)結合,執行影像驅動的 3D 位置和方向計算演算法,稱之為視覺同步定位與地圖構建(Visual Simultaneous Localization and Mapping,VSLAM)。
圖 1.使用頭戴式裝置(未顯示)同時計算頭部位置、頭部方向和注視方向,將 Pupil Invisible 與執行 VSLAM 演算法的輕型裝置結合。 VSLAM 設備整合影像分析和運動感測器資料來計算 3D 位置(pos.x、pos.y、pos.z)和頭部方向(滾動、俯仰、偏擺),而 Pupil Invisible 則測量相對於頭部的注視方向 (eye.x, eye.y) 在對應於佩戴者視野的 2D 平面上。而經過數據串流的時間同步之後,位置和方向測量會透過相對於環境的 3D 模型來表示,進而實現將注視投影到環境中的功能。
VSLAM 演算法透過使用裝置內建的立體攝影機追蹤環境中的影像特徵,持續計算配戴者的 3D 頭部位置和方向。透過結合裝載加速度計和陀螺儀的測量數據,對這些計算的準確性進行較為精準的細微調整。
同時, Pupil Invisible 可以高速且準確地測量配戴者的注視方向,將相對於頭部方向的位置表示為 2D 平面中的點,對應於配戴者眼睛正前方的視野(圖 1,右上角 )。
因此,這款可穿戴的頭戴式裝置提供了兩個互補的數據串流—VSLAM 組件以 3D 形式計算配戴者的頭部位置和方向,而 Pupil Invisible 則測量相對於頭部的注視方向。透過對這些數據串流進行時間同步並將其結合,佩戴者的視線可以在環境的 3D 模型中,作為隨時間變化的 3D 軌跡來表示。
重建真實情境中的凝視與移動行為
Han 教授接下來測試了穿戴型頭戴式裝置可以揭開個體在與周遭環境互動時的移動情形,以及他們在第一次遇到藝術或建築作品時會選擇看些什麼。
為此,他部署了凝視和移動追蹤系統來調查人們與不同規模和形式的藝術作品之互動過程。
圖 2. 重建個體在觀看雕塑藝術作品時,其在 3D 空間中的移動與凝視軌跡情況。(左)Henry Moore的鑄青銅雕塑《大圖騰頭》(Large Totem Head)陳列在庭院中。(右)當觀看者圍繞雕塑行走以從各個方向觀看時,觀看者的重建路徑(投影在地面上的灰線)和相對於觀看者頭部的 3D 凝視方向(紅線),其相應的注視點(橘紅點)視覺化呈現在雕塑的 3D 模型表面上。
圖 3.重建的凝視點(橘紅色點)顯示在雕塑表面,從兩種視角呈現(左:側面輪廓;右:內部空間)。在觀看過程中受到更多關注的興趣區域(黑色圓圈)源自於雕塑上的凝視點聚集。底座右上角的凝視點指向的是一塊提供藝術作品相關資訊的標示牌。
在一次的互動中,一位戴著 Han 教授頭戴式裝置的人圍繞Henry Moore的《大圖騰頭》雕塑作品走動,從多個不同的角度觀看(圖 2)。然後,記錄的凝視數據會被投影到雕塑本身 3D 模型的表面網格上。
這樣就可以產生聚集凝視點的 3D 凝視圖,呈現出個體的視覺注意力地圖及其對雕塑的主要感興趣區域(圖 3)。凝視圖顯示,在互動過程中,個體會特別注意雕塑的內部空間和底座上所顯示的資訊標示牌。
圖 4.重建個體探索建築群的過程 — the Morse and Ezra Stiles Residential Colleges (New Haven, CT, USA)。(左)在建築群的鳥瞰圖中,觀看者的路徑和視線用紅色繪製,呈現他們的視線與建築物表面相交的位置。(右)觀看者探索建築群通道的 3D 渲染,呈現他們的路徑(地面上的灰線)、頭部位置(粗紅線)、注視方向(細紅線)以及建築物立面上的投影凝視點(橘紅色點)。
在第二次互動中,個體探索了位於美國康乃狄克州 New Haven 的 Morse and Ezra Stiles Residential Colleges 建築群(圖 4,左)。與雕塑作品觀賞相比,建築的規模使得觀眾在視覺上較容易沉浸於環境中,尤其是當他們身處於建築群的中央通道中環顧四周的建築物和走道時(圖 4,右)。
Han 教授將個體在整個過程中所看到的內容準確地視覺化,結合了他們步行探索建築物時來自頭戴式裝置的凝視和移動數據。凝視點的密度顯示出建築物立體面上的某些特定位置會被更仔細地注意到,且凝視焦點有時也會轉移到走道上(圖 4,右)。
透過將其穿戴型頭戴式裝置與創新技術結合使用,Han 教授成功地重建了每個個體在與雕塑作品和建築群的互動過程中,其凝視位置及持續時間的詳細空間凝視資訊。這些資訊加深了我們對人們如何隨著時間的推移與藝術和建築作品建立和諧關係的理解,這可以為未來的藝術理論和實踐提供一些資訊與參考方向。
現實環境中的空間凝視:一個新興的熱門話題
Han 教授的研究是目前人們逐漸感興趣之研究方向的其中一部分,即開發將電腦視覺與眼動追蹤相結合的方法,用以研究現實環境中的空間凝視。這些方法使得我們能深入了解真實情境中的視覺感知,這對於心理學、神經行銷學、藝術和建築等廣泛領域都具有重要的應用價值。
例如,Anjali Jogeshwar 和 Jeff B. Pelz 教授最近發表的一篇論文採用了與 Han 教授研究相關的方法,儘管執行方式不同。除了計算個體隨時間變化的 3D 凝視軌跡並將凝視點投影到環境的 3D 模型之外,Jogeshwar 和 Pelz 還開發了一種名為 EnViz4D 的新型互動式視覺化工具。
EnViz4D 軟體讓使用者可以輕鬆探索由 3D 凝視和移動計算演算法產生的豐富 4D 資料集(隨時間變化的 3D 凝視軌跡和凝視點)。其令人印象深刻的功能還包括能夠在 3D 凝視投影的環境中移動、放大和縮小以及隨時間自由地滾動資料集。
與 Pupil Invisible 相關的工具(例如我們的Reference Image Mapper Enrichment )已在 Pupil Cloud 中提供。利用 Pupil Invisible 的相機記錄,這項增強功能會自動生成環境的 3D 點雲模型(3D point-cloud model),並確定配戴者相對於環境的位置和方向。在給定場景相關視覺內容的參考影像後,當佩戴者移動時, Pupil Invisible 所記錄的 3D 凝視計算資料可以隨後投影到由參考影像定義的座標系統中。
透過縮短實驗室和戶外眼動追蹤研究之間的差距,EnViz4D 和 Reference Image Mapper Enrichment 等工具為回答人們如何與真實情境進行視覺互動的相關問題創造了可以深入研究的條件,我們祝賀 Eugene Han 教授、Anjali Jogeshwar 和 Jeff B. Pelz 教授的開創性研究,並期待看到該領域未來更進一步的發展。
You can read the full paper here: https://doi.org/10.1080/24751448.2021.1967058
未來還會持續推出不同產品或應用方面的應用資訊喔!還請多多關注我們!
歡迎加入我們的社群頁面,隨時獲得最新消息!