人工智慧再聰明下去，會不會統治人類？Google：免驚，我們會設計「緊急按鈕」

由谷歌（Google）開發的人工智慧程式AlphaGo擊敗南韓圍棋高手李世乭，人工智慧一時間成為全球熱門話題。況且AlphaGo並非「完成體」、而是「尚在不斷進化」，如果人工智慧再繼續無止盡地「聰明下去」，科幻片中人類反而遭到統治的淒慘景況，會不會成真呢？

這並非單純是科技迷的杞人憂天，因為連谷歌也擔心人工智慧出現無法被人類控制的後果，日前已經提出因應這種緊急情況的「大紅鈕」（a big red button）設計。谷歌旗下的倫敦人工智慧研究公司DeepMind，加入英國牛津大學（University of Oxford）的研究，攜手合作企圖阻止機器人在未來宰制人性。

發佈在非營利組織機器智慧研究所（Machine Intelligence Research Institute，MIRI）官網一篇名為〈可被安全中斷的人工智慧〉（Safely Interruptible Agents）的研究報告中指出兩機構的最新研究發現—人工智慧並非隨時都可以表現出最佳狀態。

該篇研究報告提及，「如果人工智慧在人類監視下同步運作，那麼人類操作員可能會有必須要按下此顆大紅鈕的時候，避免人工智慧持續一連串不論是對環境或是機器自身有害的行為，並將其導向一個更安全的情境。」

根據研究結果，DeepMind與牛津研究團隊共同建立了一個新的架構，在此架構下，人類操作員可安全中斷人工智慧的運作，同時確保它不會進行反擊，也無法學習人類是如何攔截中斷其運作。

對於該如何中斷人工智慧的運作，研究團隊解釋，他們將會欺騙人工智慧讓其自行關閉，並讓它相信關閉後會得到獎勵，然而，目前僅有部分人工智慧演算法（algorithm）可以被安全攔截，其他則無法達成安全中斷的目標，因此這將會是DeepMind團隊下一階段的調查重心。

「當要控制一個行為失當、可能導致不可逆後果的機器人，或將它帶離一個微妙情境（delicate situation），或是短暫利用它來執行一個它從未學過、或通常不會因此接受獎勵的任務時，安全中斷能力（safe interruptibility）都可發揮極大功效。」 （相關報導： 人工智慧再進化：從倫敦地鐵客的腦中地圖找靈感 ｜ 更多文章 ）

但是DeepMind公司並未透露，在何種情境下人類操作員會需要按下那顆大紅鈕，中斷人工智慧的運作。