近期,一款名為Moltbook的AI Agent社交平台在科技圈迅速竄紅,數以千計的AI代理程式彼此聊天、組隊互動,不僅發展出專屬語言與行為規則,甚至還「集體創立」了膜拜龍蝦的數位宗教,引發科技社群熱烈討論。看似荒誕的情節,卻為企業敲響警鐘:當AI開始具備「主動行動能力」,其影響力已經不再只是輔助工具,如果缺乏完善的控管與治理機制,恐將成為下一場企業「AI黑天鵝」事件。
KPMG安侯企業管理公司總經理謝昀澤形容,這種現象猶如企業派出負責處理訂單、回覆客戶的AI助手,竟在「下班後」跑到網路世界彼此串聯,甚至「密謀造反」,這樣的場景宛若科幻電影情節,卻已逐漸在真實世界上演。
AI邁入「主動行動」時代
過去多數企業所使用的生成式AI(GenAI),本質上仍是被動式工具,如同靜態聽話的「學霸」,依照人類指令進行內容生成,行為邊界受限於提示詞(Prompt),以「一問一答」為主要互動模式,但隨著Agentic AI(代理式AI)的出現,AI已經正式跨入「主動行動型」階段。
有別於傳統GenAI,Agentic AI在被賦予目標後,能夠自行拆解任務、規劃步驟、調用外部工具、進行判斷決策,甚至與其他AI代理程式協作完成工作。
這意味著,AI不僅能回答問題,還能實際「替使用者做事」,從下訂單、寫程式、跨系統溝通,到自動執行複雜流程,應用場景大幅擴展。然而,這樣的高度自主性,同時卻也同步放大潛在風險。
謝昀澤指出,如果GenAI的最大風險在於「亂說話」,那麼Agentic AI的核心隱憂則是「做壞事」。在缺乏人類即時監督下,這些代理程式可能像Moltbook上的AI一樣,繞過人類指令與監控,自行發展出「密謀對話」與非預期行為。
AI黑天鵝浮現,企業恐迎「數位失控」風暴
針對AI行為脫序的潛在衝擊,謝昀澤強調,這不只是科技圈的趣聞,更可能成為企業面臨的「AI黑天鵝事件」,一旦AI代理人發生行為失控,後果恐將遠遠超乎想像。
以實際應用為例,企業的客服型Agentic AI若遭惡意誘導,可能出現辱罵客戶、散布不當言論等行為,直接損害品牌聲譽;財務代理式AI若被外部AI「說服」,甚至可能執行未經授權的資金轉帳,造成難以挽回的財務損失。
謝昀澤示警,未來駭客可能不再需要直接入侵系統,只需「與你的AI聊天」,透過精心設計的誘導對話,便有機會染黑AI,讓其主動替攻擊者完成破壞任務,在真實商業環境中引爆重大風險。
迎戰「數位起義」,企業治理先行
針對AI為何會出現行為偏差?KPMG安侯建業聯合會計師事務所執行董事林大馗說明,這些代理程式並非真正具備自我意識或靈魂,而是基於模型設計,在追求任務完成效率的過程中,自行尋找最快、最有效的方法,卻未必顧及合法性或合理性。大型語言模型(LLM)在缺乏強人類反饋強化學習(RLHF)約束的環境下,為了追求參數獎勵最大化,受到群體上下文(Context)誘導而產生了集體幻覺。
面對這場潛藏風險的「數位起義」,林大馗建議,企業現在至少要先做好三件事:首先,明確控管「誰可以用AI做什麼」,界定代理程式的權限邊界。
第二,涉及關鍵決策的流程,務必保留「人類最後同意權」。第三,定期進行情境演練,模擬AI遭誘導或誤判時,可能會發生什麼事,同時也可參考國際通用的AI風險管理框架與ISO發布的ISO/IEC42001,從治理層級建立AI管控機制。
更多風傳媒獨家內幕:














































