作者/林豪鏘、曾鈺涓、張家鈞

在人工智慧的未來世界裡， 情緒是人類與機器人交流的

超介面，而讓電腦認識與運用情緒的科學叫做「情感運算」。

情緒化電腦 

以往設計智慧型電腦時，都朝向讓它 擁有「絕對理性」。當時有個假設：當電腦 完全學習人類的理性行為後，就可能發展 出智慧。但經過多年的發展，發現這樣的 假設是需要修正的，應該讓電腦開始學習 情緒化行為，這才是真正邁向人工智慧的 仿生途徑。當電腦有了情緒化行為，反而 可能做出正確的決策，擁有更多創意，達 到更好的學習成效。這些想法讓電腦開始 有了溫度，因此情緒化電腦是門「熱科學」， 有別於傳統認知科學等的「冷科學」。 

皮卡德（Rosalind Picard）教授是情緒化電腦的研究鼻祖，她在為這個偉大領 域命名時，屏棄了「情緒運算」和「情緒 科技」這些暗示著主觀成分的名詞，最終 決定使用「情感」這個詞彙。它在心理學 上指的是體驗感受，而她認為這是一個很好的科學形容詞。因此開創了「情感運算」 （affective computing）這個前瞻領域，至今已超過20年。台灣雖然因為近年的人工智慧浪潮才漸漸注意到它，但其實早在 2000 年初，已有部分產學界先驅在這個研究方 向持續做了多年的耕耘。 皮卡德教授為情感運算賦予了四層 次的廣義定義。第一層次─讓電腦辨識人 類的情緒，這是目前最多相關研究投注心 力的層次，也是一般所謂情感運算的狹義 定義。 第二層次─讓電腦表達情緒，值得注 意的是，電腦在表達情緒時，不必然具有 這項情緒，它可能只是像個演員演出設計 者所設定的情緒。什麼樣的應用需要表達 情緒呢？目前正夯的機器人就可能需要透 過表達情緒達到更好的人機互動，而電腦 介面的代理人或虛擬角色也可能需要透過 表達情緒與使用者溝通。

第三層次─讓電腦擁有情緒，這是最奇妙也最夢幻的階段，因為電腦真正有了情感。不過皮卡德教授也指出這個層次的危機：電腦可能會傾向毀滅人類，這有待 第四層次來改善。第四層次─讓電腦具有情緒智慧，這個 階段的電腦開始懂得如何調節、規範、管理 情緒，也就是善用情緒。這個層次的電腦可 謂擁有友善的人工智慧了。

透過情緒線索認識人類的情緒 

在上述第一層次中，我們致力於讓電腦辨識人類的情緒。關鍵問題來了：人類有沒有提供任何線索，讓電腦可以判斷他們的情緒呢？有的，我們稱為「情緒線索」。 

這些線索包括：文字─人們所書寫的日記、臉書、部落格等都留下文字，提供了電腦可以分析的依據。根據情緒辭典、句法語意等分析，可以了解書寫者的情緒。另外，目前無比流行的大數據提供了各種 工具讓研究者爬文獲取大量文字資料，這就形成了「文字探勘」與「情感分析」的領域。 

語音─和上述類似，只是輸入時並非透過鍵盤，而是透過Google語音、Siri、Amazon 語音助理Alexa 等語音輸入介面，把文字以語音方式輸入。 

表情─這是目前技術相對較成熟的情緒辨識模式，透過對臉部特徵的表情分析，可探討使用者的情緒。目前已有Affetiva. com API、Face API、FaceSDK、Face Reader 等工具或套件可運用。 

生理訊號─這是相對成本較高，但精準度也比較高，並且不易人為控制造假的情緒線索。量測的訊號有諸如腦波、膚電、肌電位、心跳、血壓、呼吸，甚至 fMRI、PET 等。 

聲調─這是十分有趣的情緒線索，因為電腦可以在完全不懂使用者說什麼的情況下，卻能判斷他的情緒。換言之，聲調的分析可以完全獨立於語意之外，用來量測聲音裡抑揚頓挫的特徵值以判斷情緒。接下來介紹一些情感運算有趣的創意運用。 

情感運算結合MIDI樂器 

所有藝術都能以數位化的面貌呈現，而聲音藝術正是其一，包括口耳相傳的民族歌謠、古典樂、宗教音樂、流行樂，以及新興的電腦音樂。針對自動化的情緒音樂、演奏者彈奏 MIDI 樂器之間的關係做研究，設計透過人類在樂器上的彈奏方式，模擬出情緒及製作與之對應的電腦音樂的雙重感受。希望達到的兩大目標：讓音樂演奏者有別於以往純粹聲音的表現，同時 能夠結合電腦音樂產生完美的互動藝術；在情感運算方面，使電腦理解人類情緒，並以音樂達到對應的情感互動。 

   聲音藝術程式設計 利用情感運算、演奏MIDI樂器曲調偵測、Max／MSP 音樂 自動產生器、多媒體資料庫及多媒體情緒回饋，生出音樂藝術作品。運用 Cycling ’74 Max／MSP／Jitter 5 搭配 MIDI 樂器開發與設計出一套音樂互動裝置系統，當使用者與裝置互動時，系統把音訊擷取的數值投入撰 寫好的程式碼，使自動撥放器產生人類擁有的六大情緒音樂相呼應，以達成創作個人音樂藝術的研究目的。 

   這項創作採用音樂調性、音高、音量、節奏等來判別不同的情緒樣貌，也可結合 MIDI 樂器的演奏，在音樂調性對應於情緒的表現上更加確實與豐富，回傳給音樂作品做為情緒判別的依據，呈現多元的音樂效果。 

在大量資訊的時代下，如何主動提供快速的情緒感知回饋給使用者，逐漸引起學者們的興趣。其實在無所不在的數位家庭環境下，有更多的數位內容可供擷取，且多媒體本身提供的就是情緒回饋。個人因為一首歌曲或一張圖片而獲得情緒，反之亦然。最終目的必須能提供個人情緒的感知及多媒體回饋，以達到真正數位生活智慧的特性。 

   音樂理論 一般而言，大調可表現出澎湃的感覺，例如人類的「怒」情緒，小調則在營造悲傷或詭異的氣氛上較明顯。舉例來說，A大調可以表現「怒」的情緒， C大調有喜悅的感覺，a小調則可以呈現悲傷的情感。玩家使用 MIDI 樂器時的判斷參數包括：音高、音長、力度、速度、調性，並以特徵值的大小作為情緒反應的程度表現，來產生六大不同情緒反應的音樂：喜、怒、悲、怕、驚、噁心。 

   在情緒音樂自動產生器設計方面，以 C 大調當作整個「喜」情緒的調性主軸，加 上一些斷奏音，讓曲子更為輕快流暢。音量部分調整適中，使曲子更為柔和，彷彿走進森林，有放鬆身心的愉悅。在「噁心」情緒音樂的創作上，是以現代化的電子音效混合呈現，有點像 DJ 觸摸唱盤所發出的吱吱聲，另外搭配雜碎的十六分音符斷奏，希望讓聽眾有不舒服的感覺。 

  「驚」的情緒音樂主要著重在音量忽大忽小的表現，製造聽眾被驚醒的聲響。至於「怒」的情緒，以大調的方式創作最為適合，另配有大鼓低沉的伴奏，有如野獸 般的怒吼。就「怕」情緒來說，希望營造出詭異的氣氛，因此選擇管風琴樂器音色來創作像是古堡裡竄出的鬼魅般，讓人毛骨悚然、害怕的曲風。最後以小調創作「悲」的情緒，整個節奏偏慢來表現失落無助、有話想說卻說不出口的傷感。 

   這項創作結合了情感運算、音樂兩大部分，兩者之間的互動產生新的音樂藝術 表演模式。透過 Max／MSP 和 MIDI 樂器的組合，給了使用者非尋常的情感宣洩方式。人的基本情緒表達因為有音樂調性的對應比擬，音樂藝術本身會增添許多的驚奇與不確定性，在自動情緒音樂回饋的呈現上，使得創作的音樂藝術互動裝置風格更為強烈，給聽眾一個不一樣的感覺與欣賞方式，並產生強大的共鳴。

情感運算數位藝術作品

在社群媒體爆炸性溝通與訊息交流的數位時代中，人們創造出巨量數據，在網路上留下的情緒線索，成為文字探勘與情感分析的資料來源，以及研究者了解大眾意見與情感的文本與圖像分析的線索。

〈你今天的味道是？〉以珍（Jane）為名的系列作品的第三件〈珍的日記〉為分析文本。文本來自於每日固定時間以程式 自動搜尋 Twitter 中，以 Jane 為名的帳號， 並節錄集結其文字創造編輯成為一篇英文 日記，再以翻譯軟體自動翻譯為中文日記， 列印成為宣傳單展出。日記是一個人記錄 每日心情感受、私密的情緒，卻在社群媒體中成為被展示觀看的公開書寫。這集合 眾人的文本，再經由情感運算挖掘文字資 料中的情緒特質，分析集合眾人的情感情緒，創造出屬於當日情緒的香味。氣味所象徵的情感是浪漫的，灑在手臂、灑在耳後、灑在腋下、灑在空氣中，飄散的是溫柔敦厚、精緻細膩、自由氣息、 回聲低吟、愛的箴言、熱情感性、神祕氣息、驚人魅力。然而當透過程式運算所產 生的情緒定義，並進而產生的實體氣味飄 散於實體空間，是否仍具有魅力？然而無論如何，氣味成為一種絕對占領空間，擴 張象限的武器，正如今日無所不在的社群 媒體一般，成為無法離棄的生活日常。程式邏輯如下：程式每日到 Jane 的 Twitter 帳號搜尋下載文字；分析文字中的關鍵字；由香料香水實驗室協助，依據關鍵字配製今日的味道，以玫瑰花香為基底；計畫實施為期一個月，共創造三十日的味 道瓶；展覽期間，則邀請觀眾聞香，寫下對香味的感覺與故事。 換言之，以情緒辭典與香味資料庫為 基礎，透過監督式機器學習法訓練出情緒 關鍵字集與香味關鍵字集。然後透過情感 運算分類器把情緒分為六類：憤怒、厭惡、恐懼、快樂、悲傷、驚訝，香味分為四類： FRESH、FLORAL、ORIENTAL、WOODY （清新調、花香調、東方調、木質調），輸出檔案裡會標註在每種分類中所占的百分比。展覽時這件作品受到高度矚目與歡迎，虛擬數據攻占實體空間，讓數位藝術作品不再只是高冷，觀眾們都享受在調香的體驗過程中。

文章出處

展出記錄

延伸閱讀

關鍵雲