查德．奧爾森（Chad Olson）被搞糊塗了——他的Gemini人工智慧（AI）聊天機器人告訴他，日曆上標記了一個家庭聚會策劃會。
當時，奧爾森正行駛在明尼阿波利斯下班回家的路上，他完全不記得安排過這項活動，於是讓機器人總結一下他最近的郵件。
即日起至 2026 年 5 月 10 日，訂閱《風傳媒Ｘ華爾街日報》VVIP，我們將替您捐出 500 元給花蓮縣角兒愛心公益協會，一起用知識成就自己，用行動照亮他人！
▶ 立即訂閱，一份訂閱兩份意義 ◀
Gemini說，一個名叫普里西拉（Priscilla）的女子發了幾條訊息，讓他去買酒，包括摩根船長（Captain Morgan）朗姆酒和火球（Fireball）威士忌。它還說，一個叫雪莉（Shirley）的人讓他買Klondike冰淇淋。奧爾森對這些人完全沒有印象。
「看來有很多人聯繫你，讓你買各種東西呢！」Gemini感嘆道。
奧爾森大惑不解，詢問Gemini正在調取哪個帳戶的資訊。然而，Gemini報出的電子郵件地址並非他本人所有。
Google（Google）對《華爾街日報》（The Wall Street Journal）表示，這起在奧爾森看來像是數據泄露的事件，實則是聊天機器人的「憑空捏造」。Google在一項內部調查中確認，Gemini引用的帳戶並不活躍，那些想要酒和冰淇淋的發件人也根本不存在。Google表示，與其他模型相比，Gemini產生「幻覺」的機率更低，公司也正在努力改進。
隨著AI工具變得日益強大和複雜，數以百萬計的美國人已將其視為工作和日常生活中不可或缺的常用工具。這讓一些用戶產生了一種印象：比起GoogleAI概覽早期版本建議人們吃石頭、往披薩上塗膠水的年代，如今這些工具的輸出已經可靠多了。
這種直覺不無道理，但遠非絕對。儘管科技公司在降低前沿AI模型產品產生幻覺或失常行為方面取得了長足進步，但失誤發生的頻率在不同模型之間差異巨大，且難以評估。
其結果便是：現實中不斷出現奧爾森那樣的翻車事件，讓用戶一頭霧水，在某些情況下還會提供錯誤資訊，導致用戶可能在毫不知情的情況下據此行事。AI監管機構表示，隨著模型變得更加「代理人化」——即具備無需人類明確指令便能做出決策的能力——品質控制的挑戰將愈發嚴峻。專家警告稱，風險在於這些代理型AI可能基於錯誤數據採取行動，從而在用戶的電腦系統中引發雪球般的連環問題。
Okahu公司的創始人兼執行長普拉蒂克．維爾馬（Pratik Verma）表示，矛盾的是，那些輸出結果通常更準確的AI系統，反而更容易通過偶爾的不準確資訊誤導用戶；Okahu的主營業務是致力於幫助人們優化AI工具的使用。
維爾馬表示，模型被訓練的目標是生成答案，即便它們其實是在「瞎猜」。如果人類未能及時糾正，它們會反覆犯同樣的錯誤。他認為，隨著模型變得越來越健談、能力越來越強，用戶對AI輸出結果進行核實就顯得愈發重要。
然而，指望用戶時刻保持警惕並非萬全之策。賓州大學（University of Pennsylvania）的研究人員在2月份發表了一項關於「認知投降」的研究，即人類傾向於接受AI生成的資訊，無論其是否準確。研究發現，當一個人面臨時間壓力、處理複雜任務，或者對查詢內容缺乏充分了解時，這種不加甄別的接受就更容易發生。
最近剛從線上支付行業離職的瓦妮莎．卡爾弗（Vanessa Culver）說，她之前的工作鼓勵她將AI應用於一系列任務，從自動化手動流程到進行更複雜的計算。她說，結果總是好壞參半，讓她很難產生依賴感。
儘管如此，最近的一次經歷還是讓她吃了一驚：她讓Claude執行了一項簡單的任務——在簡歷頂部添加關鍵詞。結果它徑自以多種方式改動了整份文件。Claude把卡爾弗就讀工商管理專業的西雅圖城市大學（City University of Seattle）改成了華盛頓大學（University of Washington），刪除了她碩士學位的相關資訊，還篡改了她好幾份工作的時間線。
「在科技行業工作，你必須接受AI，但話又說回來，你能在多大程度上信任它呢？」她說。
然而，要充分發揮代理型AI系統的潛力，往往需要賦予它們對帳戶的一定控制權。今年，一款名為OpenClaw的工具走紅，將人們對代理型AI的熱情推向頂峰。OpenClaw旨在成為虛擬私人助理，用戶通過WhatsApp和iMessage等應用與其交流。這些代理人可以自主完成發送郵件、編寫程式碼和清理電腦文件等任務。
Meta的AI安全研究員Summer Yue在X上發布截圖，顯示OpenClaw無視她的指令，清空了她的收件箱。該貼文隨後引發熱議。
儘管如此，包括Meta、亞馬遜（Amazon）和Google母公司Alphabet在內的公司都報告稱，AI生成的程式碼激增，軟體工程師們正部署代理型AI協助編寫和修改程式碼。
新創公司Traversal的執行長兼聯合創始人阿尼什．阿加瓦爾（Anish Agarwal）將編寫程式碼的代理型AI比作汽車，無論設計多麼完美，在遇到複雜交通狀況時仍可能出事故。Traversal是一家開發排查軟體故障的AI工具的新創公司。
「它在邏輯上可能無懈可擊，但一旦開始以預料之外的方式與其他系統交互，就會出問題」，他說道。
維迪婭．納拉亞南（Vidya Narayanan）是FinalLayer的聯合創始人，這是一家為領英（LinkedIn）開發代理型AI的新創公司。她在工作中也會使用這些代理人，最近遭遇了與Yue類似的經歷：她給了一個代理人有限的指令，讓它幫忙管理一個軟體項目，結果它在未經允許的情況下，直接從程式碼庫中刪除了整個文件夾。
納拉亞南認為，由於需要不斷審查和校驗AI的輸出，這產生了一種「認知開銷」，反而削弱了這項技術的實用性。她回想起最近的一次經歷：她使用Anthropic的Claude進行了長達一個半小時的頭腦風暴，然後讓它將對話總結成一份文檔。結果Claude在署名處寫道：作者是維迪婭．普萊恩菲爾德（Vidya Plainfield）。
上述明尼阿波利斯的Gemini用戶奧爾森，對Gemini從似乎是別人Gmail帳戶中提供的細節感到非常震驚，他試圖向Google報告此事。他讓Gemini草擬一封郵件發送到那個地址，以提醒帳戶所有者可能存在的私隱泄露。
「我從未提供過登錄該帳戶的密碼」，奧爾森對Gemini說。「然而在跟你聊天的時候，你似乎毫無顧忌地就把郵件內容分享出來了。這看起來是一次非常嚴重的隱私泄露。」
Gemini回答說：「您說得完全正確，這聽起來確實是一個嚴重的隱私問題。我非常樂意幫您處理此事。」
然而，當奧爾森要求Gemini將這封郵件轉發給Google時，它卻無法完成任務。
「這確實讓我心存戒備，不再百分之百地依賴它了」，他說。「現在仍處於『信任但需核實』的階段。」
