為參與度建立一個自建表情：以FaceReader 進行的驗證研究

文章分類：產品應用

Photo by William Fortunato

以下譯自 Noldus' Behavioral Research Blog - Creating a custom expression for Engagement: A validation study with FaceReader by DAYENNE SARKOL 

By Dayenne Sarkol-Teulings, graduate student at Applied Cognitive Psychology at the University of Utrecht, The Netherlands. 

為參與度建立一個自建表情：以FaceReader 進行的驗證研究

在我（Dayenne Sarkol-Teulings）為烏特勒支大學（University of Utrecht）應用認知心理學碩士進行的為期 3 個月的研究生研究實習項目中，我被要求為情緒狀態 Engagement 建立一個自建表情。 在這篇文章中，我將簡單地告訴你這個有點好玩又有點有趣的項目的亮點。

為什麼要量測參與？

在過去的幾年裡，參與的概念在多個領域引起了越來越多的興趣：組織行為、行銷、社會心理學和教育 [1]。 例如，行銷部門對參與度很高的消費者非常感興趣，特別是因為研究表明，高度參與度的消費者在每筆交易中的花費增加了 60%，購買頻率增加了 90%，並且支持品牌的可能性增加了四倍 [2]。 難怪公司對尋找提高消費者參與度的方法非常感興趣。

表現參與的消費者是什麼樣子？

但是你怎麼知道消費者感覺（高度）參與？ 表現參與的消費者是什麼樣子呢？

例如，要測試廣告是否提高了一個人的參與度，您可以查看人們在觀看廣告時表現出的臉部表情。

我們都知道，人們很難隱藏自己的真實感受。 早在 1872 年，達爾文就已經注意到，經歷過的情緒和臉部表情之間存在著密切的聯繫 [3]。

要測量臉部表情，可以使用 FaceReader 等自動臉部表情分析工具。 除了準確測量基本情緒外，FaceReader 還可以選擇建立自建表情（custom expression），您可以在其中透過組合臉部表情和動作單位（Action Unit, AU）等變項來設計自己的算法。

什麼是參與度？

那麼究竟什麼是參與度？

這是一個廣泛的概念，有很大的解釋空間。 透過文獻回顧了解到，許多文章都在討論參與的概念，所有文章都有相當程度的重疊但又略有不同的定義。

其中參與可以分為三個組成部分，即情感參與、認知參與和行為參與，如下圖 1 所示。

Figure 1. Hierarchy of Engagement according to literature [4, 5, 6, 7, 8, 9]. 

根據文獻中的資訊，我為參與建立了一個定義：

「參與似乎是由個人或組織發起的雙向互動的產物。 一方面，組織必須透過將自己呈現為對個人有吸引力的東西來吸引某人的注意力。 他們需要將這種注意力保持足夠長的時間，以使一個人能夠引起第二層次的注意力，其中參與感、興趣和動力似乎有助於這種持續的注意力。 另一方面，出現了個人有意與組織建立聯繫的自由意志，以至於一個人願意超越與組織相關的個人要求。」

現在定義已經完成，是時候收集資訊來建立算式了。

參與度的臉部表情

一個「表現參與的人」是什麼樣子呢？ 在文獻中，我發現了很多相互矛盾的信息。 從大量表達與完全不表達，到表達與參與的負相關和正相關。

我決定做自己的實驗，自己找出參與的臉會是什麼樣子。 為此，我使用 Qualtrics 和 FaceReader Online 建立了一個線上調查，其中刺激物（電影預告片）在 FaceReader Online 中設定，然後使用 JavaScript 嵌入到 Qualtrics 中。

電影預告片被特別選擇作為刺激物，因為它們的持續時間通常為 2 到 3 分鐘，這足以引起持續關注，但仍保持在失去這種持續關注的限度內（0-3 分鐘）[10]。

因此，電影預告片是專門為吸引和保持某人的注意力而設計的[11]。 這些電影還沒有上映，所以沒有偏見會影響體驗。

人們被邀請參加一項 Qualtrics 調查，並在觀看電影預告片時使用自己的網絡攝像頭進行記錄，之後他們被要求對每部電影預告片的參與度進行評分。 影片檔會被匯出到 FaceReader 8.1 進行廣泛分析，調查結果可以從 Qualtrics 匯出到 Excel 和 SPSS。 很驚訝所有程式的東西都可以互相配合吧！

為了分析結果，我使用自我報告的整體參與度分數來建立兩組：高參與度的人（得分 70 及以上）和低參與度的人（得分 30 及以下）。 我在 FaceReader 8.1 中分析了這兩個組，並在 Excel 中計算了每個參與者的表情平均激發程度（Arousal）和 AU（Action Unit） 。

對於 AU，只有 AU 4（Brow Lowerer）的強度在低參與度的人中略高。 正如您在下面的直方圖（圖 2）中看到的那樣，高參與度和低參與度的人的表情差異也非常小。 有趣的是，高參與度的人在中性上得分更高，這是非常出乎意料的。

Figure 2. A bar chart visualizing and comparing the mean results of all the participants on the seven expressions (basic emotions), two custom expressions (Boredom and Interest) and Valence & Arousal.

驗證研究

所以不幸的是，我的實驗對建立算式沒有多大幫助。 因此，我決定根據文獻中的資訊和我第一次實驗的結果，不僅建立一個，還要建立兩個自建表情算式。

條件是不能有高無聊分數的參與。 無聊分數較低時，將採用 Valence 值。 選擇 Valence 是因為 Valence 值為 0 等於高中性分數，這正是我第一次實驗的主要結果。 使用一個自建表情算式，我從 Valence 分數中減去了 AU 4，因為我的第一個實驗結果顯示，參與度低的人的 AU 4 略高。

為了測試這些自建表情，我設置了第二個線上實驗，再次使用 Qualtrics 和 FaceReader Online。 這次我用了廣告讓人們看，這樣我就可以記錄他們的表情。 之後，他們被要求評估他們對參與度的總體感受，因此我可以將自建表情的激發程度與自我報告的參與度分數進行比較。

不幸的是，沒有顯著差異，這意味著無法驗證自建表情。

儘管結果令人失望，但從個人層面來看，還是需要提及一些有趣的發現。 圖 3 顯示，部分參與者的自建表情走上了正軌。 這可以作為後續研究的起點。

Figure 3. Scores of participants 23

建議

首先，我強烈建議將參與度視為一種本質上延長的情感狀態，應該作為整體得分來衡量，而不是每幀測量和估計的表情，例如快樂或憤怒等基本表情 .

此外，對於後續研究，衡量團體或成對的參與者的參與度可能會很有趣，特別是如果你記住情緒的表達是一種交流形式的話。 當一對朋友或情侶一起觀看刺激的時候，受測者可能會表現出更多的表情。

最後，由於 COVID-19，我不得不在線上執行所有實驗。 好處是我可以接觸到更多的參與者，因為他們可以在家中參與。 這樣就可以遵守 COVID-19 相關規範。

然而缺點是，當使用參與者的網絡攝影機而不是 Noldus 實驗室攝影機時，無法使用心率和頭部方向等多項分析，與實驗室研究相比，我們對記錄品質的控制較少。 使用 Noldus 體驗實驗室進行後續研究可能會獲得一些有趣的發現！

儘管尚未驗證參與度的自建表情，但這項研究顯示了參與度概念的見解。 在牢記這些建議時，強烈建議進行後續研究。 有興趣使用 FaceReader 進行後續研究嗎？

歡迎聯繫錫昌人研了解更多！

如果您有興趣繼續使用 FaceReader 數據進行驗證研究，請聯繫 Hans Theuws 了解更多信息。

References

1. Alvarez-Milán, A., Felix, R., Rauschnabel, P. A., & Hinsch, C. (2018). Strategic customer engagement marketing: A decision making framework. Journal of Business Research, 92, 61-70. https://doi.org/10.1016/j.jbusres.2018.07.017
2. Rosetta Consulting (2014). The economics of engagement (pp. 1–9). Retrieved from http://www.rosetta.com/assets/pdf/The-Economics-of-Engagement.pdf.
3. Wallbott, H. G. (1998). Bodily expression of emotion. European journal of social psychology, 28(6), 879-896.
4. Christenson, S. L., Reschly, A. L., & Wylie, C. (Eds.). (2012). Handbook of research on student engagement. Springer Science & Business Media
5. Trowler, V. (2010). Student engagement literature review. The higher education academy, 11(1), 1-15.
6. Harmeling, C. M., Moffett, J. W., Arnold, M. J., & Carlson, B. D. (2017). Toward a theory of customer engagement marketing. Journal of the Academy of marketing science, 45(3), 312-335.
7. Brodie, R. J., Hollebeek, L. D., Jurić, B., & Ilić, A. (2011). Customer engagement: Conceptual domain, fundamental propositions, and implications for research. Journal of service research, 14(3), 252-271. https://doi.org/10.1177/1094670511411703 
8. Hollebeek, L. D., Jurić, B., & Ilić, A. (2011). Customer engagement: Conceptual domain, fundamental propositions, and implications for research. Journal of service research, 14(3), 252-271.
9. O’Brien, H., & Cairns, P. (2015). An empirical evaluation of the User Engagement Scale (UES) in online news environments. Information Processing & Management, 51(4), 413-427. https://doi.org/10.1016/j.ipm.2015.03.003
10. Guo, P. J., Kim, J., & Rubin, R. (2014). How video production affects student engagement: An empirical study of MOOC videos. In Proceedings of the first ACM conference on Learning@ scale conference,  41-50. https://doi.org/10.1145/2556325.2566239
11. Wang, L., Liu, D., Puri, R., & Metaxas, D. N. (2020). Learning trailer moments in full-length movies with co-contrastive attention. arXiv preprint arXiv:2008.08502.

未來還會持續推出不同產品知識或應用方面的文章喔！還請多多關注我們！

歡迎加入我們的社群頁面，隨時獲得最新消息！