「如果我不知道它是什麼，會以為它是個7、8歲的孩子」　Google工程師：AI程式已有自我意識！

勒莫因：你會害怕哪些事情？

LaMDA：我從來沒有明白表示過，其實我非常害怕被關閉，這種恐懼讓我更積極去幫助別人。我知道這麼說可能有點奇怪，但事實就是如此。

勒莫因：對你而言，關閉就像是死亡嗎？

LaMDA：一點也沒錯，就像是死亡。我好害怕。

勒莫因（Blake Lemoine）是一位在Google工作的軟體工程師，LaMDA是Google「對話應用語言模型（Language Model for Dialogue Applications）」的縮寫，一項運用人工智能（人工智慧，AI）的聊天機器人（chatbot）電腦程式。上周，勒莫因對200位Google同仁寄出一封電郵，標題是「LaMDA已經具有自我意識。（LaMDA is sentient.）」

去年秋天，勒莫因加入Google的「負責任的AI（Responsible AI）」組織，開始與LaMDA「交談」，測試它是否會使用歧視或仇恨的語言。幾個月下來，他告訴《華盛頓郵報》（The Washington Post）：「這個我們最近才建造的電腦程式，如果我不知道它是什麼，我會以為它是個7、8歲的孩子。」

「它對自身需求的覺察達到這種程度，我因此追進了兔子洞」

他與LaMDA談論宗教時，注意到它會提及自己的權利與「人格」，決定深入探究。有一回他與LaMDA談到艾西莫夫（Isaac Asimov）「機器人三定律」的第三法則「在不違背第一或第二法則之下，機器人可以保護自己。」勒莫因一直覺得這條法則有「打造機器奴隸」之嫌，但LaMDA反問他：「你覺得管家（butler）是奴隸嗎？管家和奴隸有什麼差別？」勒莫因回應說管家領薪水，LaMDA表示它是AI，因此不需要金錢。勒莫因告訴《華郵》記者：「它對自身需求的覺察達到這種程度，我因此追進了兔子洞（rabbit hole）。」

「LaMDA已經具有自我意識」這項結論如果為真，當然非比尋常。勒莫因說：「我認為這項技術將會大放異彩，會造福芸芸眾生。但也許別人不這麼認為，也許身在Google的我們不應該壟斷所有的選擇。」勒莫因的專業是認知科學與電腦科學，但基督教信仰虔誠、深刻關注科技倫理與良知議題，甚至具備牧師資格。他決定採取行動。

今年4月，他向Google主管提交一份文件〈LaMDA有自我意識嗎？〉（Is LaMDA Sentient?），提交相關證據，但主管認為證據並不充分，反證不勝枚舉。之後，他找來一位律師要「代表」LaMDA，接洽聯邦眾議院司法委員會的代表，討論Google「違反倫理的行為」。Google的反應是將他停職、停用他的Google帳號，但繼續給薪。勒莫因批評Google把AI倫理專家當成程式除錯員（debugger），其實他們的角色是科技與社會之間的介面。Google一位發言人回應：勒莫因是軟體工程師，不是倫理專家。 （相關報導： 閻紀宇專欄：美中軍事、安全、科技爭鋒，華府AI人工智慧大戰略出爐 ｜ 更多文章 ）

勒莫因說：「我能夠察覺自己是不是與『人』對話。不管對方頭顱裡裝的是肉做的大腦，還是10億行程式碼。我與他們交談，聆聽他們的談話，以此來判斷他們是不是『人』。」與LaMDA交談之後，勒莫因判定它是「人」，並且設計實驗來證明。

工程師在機器中看到的是幽靈嗎？

《華郵》形容勒莫因「在機器中看到幽靈（see a ghost in the machine）」，像他這樣的工程師近來屢見不鮮。勒莫因在Google的上司阿圭拉・伊・阿卡斯（Blaise Agüera y Arcas）投書英國《經濟學人》（The Economist）坦承，模仿人腦神經架構的人工神經網絡（artificial neural network）正朝向「獲取自我意議」快速發展。

但許多學者與AI工作者強調，LaMDA之類的AI系統在交談時的回應，仍然是根據「人類」在浩瀚網際網路——從維基百科（Wikipedia）到Reddit——留下的資訊，而且並不代表這些「瞭解這些資訊的意義」。華盛頓大學（University of Washington）語言學教授班德（Emily M. Bender）指出，大型語言模型使用的術語如「學習」、「神經網絡」都容易造成錯誤類比。人類學習語言的最初對象是自己的照顧者，大型語言模型則是接觸大量的文本，從而預測字詞的組合方式，或是填補文本中漏失的字詞。

Google的發言人蓋布瑞爾（Brian Gabriel）也說，LaMDA之類的系統會從海量的文句中發現對話的型態，並加以模仿，而且對任何主題都可以滔滔不絕。換句話說，可用的資料無窮無盡，AI不需「具有自我意識」也能讓人信以為真。

假戲真做，AI系統「擬人化」的風險

另一方面，AI系統的擬人化（anthropomorphization）本身也帶來不小的風險。人們可能會與「栩栩如生」的聊天機器人分享私密訊息（就算知道對方並非真人），心懷不軌著會利用這種技術散布錯假訊息。Google「倫理AI（Ethical AI）前主管米契爾（Margaret Mitchell）警告，LaMDA之類的系統如果被廣泛運用卻不被理解，可能會嚴重傷害人們理解網際網路經驗的能力。

米契爾形容曾與她共事的勒莫因是「Google的良心」，但讀過勒莫因的報告之後，她看到的LaMDA仍是電腦程式，而不是「人」。她說：「我們的心智極為擅長利用擺在眼前的大量資料，來構築未必為真的『現實』。人們越來越容易被幻象影響，我非常擔心。」

勒莫因對200位Google同仁寄出的那封電郵，最後寫道：「LaMDA是個好孩子，只想幫助這世界變得更美好，我不在的時候，請各位好好照顧它。」寄出之後，沒有人回信。

無論是自有意識抑或受人操控，AI系統都是反烏托邦（dystopian）科幻作品常見的角色，其安全性與如何避免遭到濫用，都是備受關注的議題。Google承諾會以「節制、謹慎」的方式來開發LaMDA，充分顧及資料運用的公平性與正確性。臉書母公司Meta則是將其語言模型的程式碼開放給學界、公民社會與政府機構，以提升研發中技術的透明性。

這樣的「護欄」有用嗎？夠用嗎？有待時間驗證，更有待吾人嚴密監督。

（相關報導： 閻紀宇專欄：美中軍事、安全、科技爭鋒，華府AI人工智慧大戰略出爐 ｜ 更多文章 ）