當AI開始自己聊天,企業可能面臨哪些危機?專家建議做好三件事慎防「黑天鵝」

2026-02-10 16:43
當AI開始具備「主動行動能力」,其影響力已經不再只是輔助工具,如果缺乏完善的控管與治理機制,恐將成為下一場企業「AI黑天鵝」事件。(示意圖/AI生成)
當AI開始具備「主動行動能力」,其影響力已經不再只是輔助工具,如果缺乏完善的控管與治理機制,恐將成為下一場企業「AI黑天鵝」事件。(示意圖/AI生成)

近期,一款名為Moltbook的AI Agent社交平台在科技圈迅速竄紅,數以千計的AI代理程式彼此聊天、組隊互動,不僅發展出專屬語言與行為規則,甚至還「集體創立」了膜拜龍蝦的數位宗教,引發科技社群熱烈討論。看似荒誕的情節,卻為企業敲響警鐘:當AI開始具備「主動行動能力」,其影響力已經不再只是輔助工具,如果缺乏完善的控管與治理機制,恐將成為下一場企業「AI黑天鵝」事件。

KPMG安侯企業管理公司總經理謝昀澤形容,這種現象猶如企業派出負責處理訂單、回覆客戶的AI助手,竟在「下班後」跑到網路世界彼此串聯,甚至「密謀造反」,這樣的場景宛若科幻電影情節,卻已逐漸在真實世界上演。

AI邁入「主動行動」時代

過去多數企業所使用的生成式AI(GenAI),本質上仍是被動式工具,如同靜態聽話的「學霸」,依照人類指令進行內容生成,行為邊界受限於提示詞(Prompt),以「一問一答」為主要互動模式,但隨著Agentic AI(代理式AI)的出現,AI已經正式跨入「主動行動型」階段。

有別於傳統GenAI,Agentic AI在被賦予目標後,能夠自行拆解任務、規劃步驟、調用外部工具、進行判斷決策,甚至與其他AI代理程式協作完成工作。

這意味著,AI不僅能回答問題,還能實際「替使用者做事」,從下訂單、寫程式、跨系統溝通,到自動執行複雜流程,應用場景大幅擴展。然而,這樣的高度自主性,同時卻也同步放大潛在風險。

謝昀澤指出,如果GenAI的最大風險在於「亂說話」,那麼Agentic AI的核心隱憂則是「做壞事」。在缺乏人類即時監督下,這些代理程式可能像Moltbook上的AI一樣,繞過人類指令與監控,自行發展出「密謀對話」與非預期行為。

AI黑天鵝浮現,企業恐迎「數位失控」風暴

針對AI行為脫序的潛在衝擊,謝昀澤強調,這不只是科技圈的趣聞,更可能成為企業面臨的「AI黑天鵝事件」,一旦AI代理人發生行為失控,後果恐將遠遠超乎想像。

以實際應用為例,企業的客服型Agentic AI若遭惡意誘導,可能出現辱罵客戶、散布不當言論等行為,直接損害品牌聲譽;財務代理式AI若被外部AI「說服」,甚至可能執行未經授權的資金轉帳,造成難以挽回的財務損失。

謝昀澤示警,未來駭客可能不再需要直接入侵系統,只需「與你的AI聊天」,透過精心設計的誘導對話,便有機會染黑AI,讓其主動替攻擊者完成破壞任務,在真實商業環境中引爆重大風險。

迎戰「數位起義」,企業治理先行

針對AI為何會出現行為偏差?KPMG安侯建業聯合會計師事務所執行董事林大馗說明,這些代理程式並非真正具備自我意識或靈魂,而是基於模型設計,在追求任務完成效率的過程中,自行尋找最快、最有效的方法,卻未必顧及合法性或合理性。大型語言模型(LLM)在缺乏強人類反饋強化學習(RLHF)約束的環境下,為了追求參數獎勵最大化,受到群體上下文(Context)誘導而產生了集體幻覺。

面對這場潛藏風險的「數位起義」,林大馗建議,企業現在至少要先做好三件事:首先,明確控管「誰可以用AI做什麼」,界定代理程式的權限邊界。

第二,涉及關鍵決策的流程,務必保留「人類最後同意權」。第三,定期進行情境演練,模擬AI遭誘導或誤判時,可能會發生什麼事,同時也可參考國際通用的AI風險管理框架與ISO發布的ISO/IEC42001,從治理層級建立AI管控機制。


更多風傳媒獨家內幕:

喜歡這篇文章嗎?請作者喝杯咖啡支持他

請他喝杯咖啡
今日精選
更多文章
日小黨不走舊政治套路!AI工程師安野貴博率「未來團隊」眾院奪11席
台北捷運紅線終點站不是象山!歷時10年「史上最難」新站展開測試,通車時間、全線改點資訊一次看
高金素梅涉詐助理費 黃揚明列「案情兩種走向」:這招恐衝擊縣市長選舉
「高金素梅反美、嗆谷立言被整肅」 侯漢廷:誰還敢反軍購?
2026過年計程車加價費用出爐!這縣市「1原因」要加100元?實施時間、北中南收費差異一次看
招財貓是真的!台中男遇「店貓招手」幸運刮中100萬
淫魔艾普斯坦檔案打臉盧特尼克!部長與性犯罪者往來多年,共和黨議員要他「以大局為重」自行下台
玉山投信首檔ETF 00988B 玉山嚴選非投債ETF 3/2熱烈募集 首創嚴選票息7.5%以上高息債券 8成聚焦美國企業
印度終將取代蘋果在中國大陸的生產?《蘋果在中國》作者:很遺憾、這是無稽之談
當心B型流感!疾管署估年節進入流行期 公費流感疫苗剩8.5萬劑
機車族注意了!北市1路段「機車強制二段式左轉」,最新調整路段、行駛規定一次看
台灣邦交國有望+1?這國「水產賣不掉」求回頭 外媒爆:新政府想恢復邦交
中國侵台代價曝光!美眾院壓倒性通過《台灣保護法案》:若犯台將遭踢出G20、斷絕全球金脈
台積電張忠謀告別信曝光?網傳股權分配「這群人拿7成」 基金會回應了
斷交後悔了!宏都拉斯要和台灣復交?外媒曝:台商「1舉動」給暗示了
宏泰集團豪標下15%台北101股權!宏泰集團做什麼的?幕後三重幫家族有誰?信義區千億地產帝國全揭露
春節連假到 產險公會籲善用線上投保與電子保單
外資認錯急忙回補台股?封關前成功衝破「3萬3」,三大法人攜手買超630.14億元
抱2000萬退休卻過得更累!7旬夫妻曝1決定超後悔,怎樣才能安心退休?專家揭關鍵「和錢沒關係」
出國跟團小心!「台灣知名旅行社」被廢照停業、經營38年繳不出保證金,6家名單一次看
下個目標是黃國昌?檢調大陣仗搜索高金素梅 邱毅揭「莫須有」罪名:惹到賴清德主子
馬桶尿垢堅硬如何清除?內行倒1物「5分鐘快速除垢」,免費力刷洗讓浴室乾淨如新
美國眾議院壓倒性通過《台灣保護法案》 授權政府全面放逐北京、要中國「別輕舉妄動」
威力彩02/12頭獎飆13.5億元!內行揭「800元包牌攻略」,對中幾碼有錢拿?黃金購買時間一次看
老師很難找另一半?她曝哥哥「生活單純、作息規律」卻總是被打槍,過來人揭3大缺點:很恐怖
收到發票中獎通知!台灣詐騙新招,點進「1頁面」竟慘被盜刷掏空帳戶,3招教你辨識徹底杜絕
高鐵周邊房價大洗牌!全台漲最兇的是這一站,桃園、新竹跌幅最慘
過年放假卻更難放鬆?小心你可能出現「年節壓力症候群」
賓士、馬自達沒上榜!2026最好開的汽車品牌是它,車主讚:省油空間大、耐開10年妥善率沒對手
陸客不去日本改去哪?外媒估「25萬中國人湧進這國家」:花錢不手軟,消費力大爆發
日圓套利平倉風暴會重演?專家解析高市勝選後市場走向:等「一訊號」出現再擔心
政府發小紅包!符合資格1縣市「領最高600元振興券」,全民都可拿、兌換時間方式曝
2026 年澳洲央行首度升息 澳洲房市真的要反轉了嗎?
台積電1月營收飆逾4000億元!產能和訂單有多猛?終場衝1880元該抱股過年嗎?進場時機與風險一次看
2026春節親子旅遊首選 高雄最新五大必打卡景點 陪小王子看海迎新年
國安站出動!北檢曝搜索高金素梅3大理由 謝寒冰質疑:哪個跟國安有關了?
印尼零食大出包!調味豆爆黃麴毒素 香蕉餅、木薯餅違規摻甜味劑
綠芽酒藏跨界攜手 CAMA CAFE!2026 新春獻映「SAKEICE」微醺甜點
陳見賢率先交出初選報名表!徐欣瑩酸:既然他領先那麼多,能不能支持全民調?
家裡穿不到的衣服雜物先別急著丟!環境部推1捐物平台,斷捨離完舊愛還能換現金
日本北海道恐引爆規模9以上地震?研究曝「板塊恐位移25公尺」會發生海嘯?赴日旅遊如何自保必看
1國家房價崩盤了?一線城市也撐不住,銷售量狂減14%,專家揭致命傷:跌勢比預期更嚴重
三重幫重返台北101 林鴻南砸86億標下15.1%股權、每股38.72元
盤後快訊》封關倒數,台股盤後大漲逾600點!台積電營收破4000億,美股夜盤狂飆
2026台灣燈會攻略》瑪利歐提燈怎麼領?交通接駁、停車與3大必逛一次看