Siri、Alexa說話越來越像真人的秘密:自然語言處理的終極目標──讓AI能像人類一樣讀懂文章

2019-09-26 15:52
輿情分析、聊天機器人等應用需要先讓電腦理解人類所使用的語言,掌握其中的句法結構、分析字裡行間的情緒,才能統計輿情、或讓機器人做出適當的聊天回應。(圖/unsplash)
輿情分析、聊天機器人等應用需要先讓電腦理解人類所使用的語言,掌握其中的句法結構、分析字裡行間的情緒,才能統計輿情、或讓機器人做出適當的聊天回應。(圖/unsplash)

「自然語言處理」是什麼

讓電腦擁有理解人類語言的能力,就是自然語言處理 (Natural Language Processing,縮寫 NLP)。然而,人和人之間就會誤會彼此的語言了,電腦要如何理解語義?中研院資訊科學研究所的馬偉雲助研究員說明:以中文來說,最基本的,要先教電腦學會「斷詞」和「理解詞的意思」。

如何理解一種語言?

小時候學習中文,會背誦課文詞彙的注釋,在作業簿練習這個詞的寫法。到了國中時期學英文,面對像天書般的英文文章,會把不懂的單字圈起來,拿出字典查這個字的意思。為什麼這樣做?

因為,詞彙是語言的最小單位。

然而,中文有一個特殊現象,就是「詞」和「詞」之間沒有邊界,整句串起來像條鎖鏈,不像英文有空格將每個字斷開。所以,若要理解一篇中文文章,必須先學會斷詞,而要學會斷詞,必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況:

那麼,問題來了,如果聰明的人類都會誤解複雜的語言,那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎?其實,這就是自然語言處理 (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫小組計畫主持人馬偉雲,聊聊自然語言處理究竟是什麼。

馬偉雲,是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。(圖/張語辰攝)
馬偉雲,是一名對於「讓機器擁有理解語言的能力」深感著迷的計算機科學家。(圖/張語辰攝)

Q:「自然語言」有多自然?

馬:我們先來了解「自然語言」的定義,與「程式語言」有什麼差別。

程式語言 vs. 自然語言(圖說設計/林婷嫻、張語辰)
程式語言 vs. 自然語言(圖說設計/林婷嫻、張語辰)

簡要來說,程式語言是人類為了與計算機溝通,而設計的人工語言;而自然語言的自然,是相對於「人工」語言的「自然」,換句話說,自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標,就在於讓電腦理解、或是運用人類語言。

Q:如何教電腦學會一種語言?

馬:若要讓電腦理解人類的語言,以中文來說,分成兩步驟:

第一步是斷詞、理解詞;第二步則是分析句子,包含語法及語義的自動解析。

自然語言處理透過這兩個步驟,將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則,現在則是讓機器自己學習。

早期的方式是基於一套詞彙資料庫,用程式語言寫好人工訂定的規則,讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性,例如,當同樣的詞在不同上下文產生不同意思,就會和原本的人工規則相互牴觸。

1980 年代末期,自然語言處理引進機器學習 (Machine Learning) 的演算法,不再用程式語言命令電腦所有規則,而是建立演算法模型,讓電腦學會從訓練的資料中,尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知識庫小組」團隊——就是利用機器學習的演算法,讓電腦學會從訓練的資料中,自動歸納出語言的特性。

自然語言處理的演變。(圖說設計/林婷嫻、張語辰)
自然語言處理的演變。(圖說設計/林婷嫻、張語辰)

Q:訓練電腦處理自然語言,需要什麼樣的資料?

馬:我們團隊成員涵蓋中研院語言所、資訊所的研究人員,所以我們也充分利用這兩個領域的專長。 (相關報導: 聽膩Siri的刻板女聲?世上首個「無性別」語音助理出現啦!嗓音非男非女,聽來意外超順耳 更多文章

首先,語言學家為九萬多個中文詞彙定義了完整的語法、以及語義表達方式,並且也標明詞彙之間的關係,例如:「蝴蝶」和「昆蟲」具備「前者是後者的一種」這樣的詞彙關係;「醫生」和「病人」具備「前者醫治後者」這樣的詞彙關係。這樣的表達構建了中文的知識圖譜,我們稱為「廣義知網」。

因為你,我們得以前進,你的支持是我們的動力
更多文章
剛接蔡英文台南後援總會長 郭信良「退回」市府總預算案遭綠議會黨團砲轟
羽球》苦戰三局擊退西本拳太 周天成再闖南韓羽賽8強
美方建議採購的電戰裝備「舊型且有洩密疑慮」?空軍說話了!
柯文哲找到接班人了!黃珊珊將出任北市副市長 預計10月上任
國民黨慰留郭台銘 被開除黨籍的陳宏昌批:為錢巴結,有夠噁心
力挺蔡英文連任 館長:即使她35年前混了一張文憑回來,至少台灣不會被弄掉
搭計程車慘遭殺害、丈夫失業,妻子就挨打…阿根廷女性悲慘的處境引爆「一個都不能少」運動
羽球》強勢拍落世界第4丹麥好手 王子維挺進南韓羽賽8強
譴責港警性暴力!台灣性別團體串聯挺港,籲上街聲援「撐港反極權」大遊行
素人爆紅、名氣跳樓全在一夕之間,我們為何盲目追捧「英雄」?心理師:他為你補上內心遺憾
韓國瑜施政報告提「4個一」打造高雄首富 綠議員打斷批「講太久」
新新聞》首談南山人壽境界之亂,尹衍樑為獨子尹崇堯人和、專業背書
南太平洋友誼圈》馬紹爾總統致電蔡英文挺台灣 台美合作「南島語言論壇」帛琉登場
MLB》近19戰狂飆17勝 釀酒人搭上國聯季後賽末班車
「烏克蘭門」關鍵通話內容曝光後,川普老神在在:獵巫式彈劾已經沒戲唱!
國安會報告指中國「拉白打綠」 柯文哲酸回:很像自由時報社論
另類學生社團發揮創意 修平「馬拉桑社」熱鬧學原住民歌舞
美軍航母的同量級對手,會是中國嗎?從遼寧號到核動力航母:中國海軍在冷戰後的進展
習大大好羨慕!《美日貿易協定》簽了:川普暫時不加徵日本汽車關稅,日本對美牛美豬開大門
批大學推動「人臉辨識」侵犯學生個資 人本執行長:再多說法都不能改變「監控」的本質
撐香港反送中》民進黨發佈廣告影片 港人現身說法勿信一國兩制
美國參院外委會通過「台北法案」 蘇嘉全:鞏固台灣,就是鞏固民主世界的屏障
普悠瑪事故將滿週年 駕駛員尤振仲出面駁超速控台鐵欺騙
「史明最後的人生學堂」告別式 蔡英文到場致意:捨不得歐吉桑離開
台灣校園也爆反送中衝突 林飛帆呼籲:北京政府不要對在台中生施壓
「我不迴避生命中最黑暗的部分」史丹福性侵案受害者的創傷與勇氣,張曉夏要美國社會「知道我的名字」
習近平的航空夢,就靠它了!北京大興機場正式啟用,中國企圖成為全球最大航空市場
「抽中22號質詢無望」 黃捷怒轟荒唐:議會史上最丟臉的一天!
總統府政務人員涉私菸案 江啟臣:府方公然說謊,出來面對
羽球》戴資穎直落二輕取蔡炎炎 26分鐘速闖8強
「請郝龍斌轉達儘速完成退黨程序」 郭台銘辦公室:與國民黨分道揚鑣,勿再彼此干擾
高雄房市大利多 鳳山擁有黃金條件
毒犯駕車衝撞拒捕!北市警開3槍壓制,搜出海洛因、安非他命、大麻等毒品
新新聞》蔣萬安:「政治就是你伸手之外一片漆黑」
卓榮泰為黨內初選民調納柯道歉 賴清德肯定:展現道德勇氣
3友邦聯合國大會挺台》「所有國家有權成為聯合國一分子」 瓜地馬拉3年來首度為台灣發聲
「大批軍公教現在含淚支持蔡英文」 林濁水:韓國瑜威力恐怖到翻轉台灣投票慣性
美參院外委會通過「台北法案」 總統府:在中國施壓台灣外交下,更可感受到美國的溫暖與支持
等不到二十周年,京華城確定賣了!11/30熄燈,200櫃位辦封館拍賣道別
「北京霸凌對台灣民主造成重大威脅」美參院外交委員會通過「台北法案」:支持中國破壞台灣,會有代價
這就是APP寄杯的威力!財報會說話:小七領先全家的差距,已經越來越小...
詠勝「市中欣」超高CP值 首購族成家夢想不再遙不可及
「帶逝去的親人去旅行吧!」日本殯葬業推「可攜式迷你骨灰盒」,以浪漫的方式面對死亡
一句「你們舊南山」,怎麼把600萬保戶捲入風暴?南山董座百億敗退啟示
先知?韓國瑜30年前論文就曾認同香港「反送中」
從獵殺到保育有成,台灣成國際組織讚譽有佳的「穿山甲保育」全球模範生!
打造智慧城市安全網 雲端監控系統「眼」出城市大小事
花10元買報紙,中千萬的是你嗎?統一發票開獎了,趕快對獎!