AI發展失控？阿特曼曝兩大致命風險：人類控制權、權力高度集中

OpenAI執行長阿特曼（Sam Altman）近日提出警告，人工智慧（AI）產業在持續推進模型能力的同時，必須避免兩種可能讓AI發展偏離軌道的情境：第一是人類逐漸失去對AI的控制，第二則是AI所帶來的巨大力量集中在單一國家、企業或個人手中。

阿特曼在美國時間9月13日晚間於社群平台X發文指出，AI發展最需要防範的問題之一，是人類可能「失去對未來的控制」。他強調，OpenAI毫不掩飾地站在人類這一邊，AI的存在目的應該始終是服務人類，而非反過來支配人類。

阿特曼所說的「控制」與AI安全領域中的「對齊」（alignment）問題密切相關。所謂AI對齊，主要是指AI系統的目標、行為與價值取向，能否持續符合人類設定的意圖與安全要求。隨著AI模型能力快速提升，研究人員愈來愈重視安全技術是否能跟上模型能力成長的速度。

阿特曼表示，要確保AI始終以人類利益為核心，就必須建立足夠的方法與技術，讓「對齊」及安全措施的發展速度持續領先於AI模型能力的進步。

他寫道，另一項需要避免的風險，是世界可能出現「權力過度集中」的局面。如果極其強大的AI掌握在單一個人或企業手中，而這套技術又被用來把特定人士或企業的世界觀強加給所有人，最終可能形成極度反烏托邦式的社會。

阿特曼認為，AI治理真正困難之處，在於必須走一條相當狹窄的中間道路。一方面不能讓人類失去對AI的控制，另一方面也不能讓AI相關的巨大能力與決策權集中於少數勢力。

他指出，權力集中可能發生在國家層級，例如某一個國家取得過大的AI優勢，使全球權力平衡遭到改變；也可能發生在企業層級，例如某一家AI實驗室取得遠超其他競爭者的技術能力與影響力。

阿特曼這番談話，也延續他先前對AI安全監管的主張。阿特曼此前曾表示，美國企業在開發AI的過程中應遵循安全標準，並指出自己與OpenAI都願意接受聯邦政府建立一套一致性的監管架構，為前沿AI（frontier AI）訂定統一的安全要求。

所謂前沿AI，通常是指目前能力最先進、具高度通用性的AI模型與系統。由於這類模型的能力可能快速突破既有技術水準，因此如何在研發階段就評估潛在風險，已成為AI產業與政府討論的重要議題。

阿特曼表示，AI企業過去已經建立「負責任擴展政策」（Responsible Scaling Policies）以及「準備度框架」（Preparedness Frameworks）等機制，用來評估模型能力提升可能帶來的風險，但隨著整個AI領域快速發展，現有做法已經需要進一步調整。 （相關報導： 勇鷹號全交機、ADF卻已成「爛尾樓」　當年為保持國產戰機量能、選擇高價自製高教機划算嗎？ ｜ 更多文章 ）

他以OpenAI目前的做法為例指出，公司如今會在進行可能大幅提升模型能力的前沿強化學習（frontier reinforcement learning）訓練之前，事先建立明確的安全論證（safety cases），除了延續長期以來在模型正式發布前進行的安全工作，也把安全評估提前到模型能力可能出現重大躍升之前。

這代表AI安全工作的重心，不再只是等到模型開發完成、準備對外發布時才進行檢查，而是逐步往模型訓練與能力提升的更早階段延伸。

阿特曼提出上述看法之際，美國多家AI公司的執行長與研究人員正持續討論，如何在AI模型能力日益強大的情況下，確保模型的對齊與安全性。

部分研究人員甚至警告，如果未來出現遠超目前AI系統能力的「超級智慧」（superintelligence），其潛在風險可能不只是個別系統失效或資料外洩，而可能對人類社會造成難以逆轉的影響。有研究者提出極端情境，認為AI超級智慧甚至可能在未來10年內對人類生存構成致命威脅。

在這場關於AI安全與治理的討論中，Anthropic執行長阿莫迪（Dario Amodei）也提出讓AI產業「控制前沿發展速度」（pace the frontier）的構想，主張AI實驗室不應只追求模型能力的快速提升，也應同步建立能夠有效制衡風險的安全機制。

阿莫迪在一篇文章中主張，AI實驗室可以引入第三方評估機制，由獨立評估人員對企業的AI開發工作進行監督。這些外部評估人員應該擁有近似企業內部員工的系統存取權限，以便確認AI實驗室是否確實遵守既定的安全措施。

按照阿莫迪的構想，第三方評估人員不僅可以檢查AI公司是否落實安全規範，也能針對重大事件提出報告，並在模型訓練過程中評估AI系統的對齊程度。

阿特曼隨後在X平台回應表示，他認同這項方向，並認為讓獨立評估人員擁有類似企業員工的系統存取權限，是值得採取的做法。阿特曼表示，OpenAI也將採取類似措施，並透露公司很快會公布更多相關內容。

責任編輯：許詠翔

更多風傳媒獨家新聞：

‧龍頭公司主動要求政府監管　川普、范斯卻代表白宮極力反對　美國這場AI官民鬥到底在玩什麼把戲

‧「拿我們的生命賭博」？微軟總裁也表態：確保AI處於「人類控制」之下

‧管制會讓美國輸掉AI競爭？總統、議長都出面喊話 （相關報導： 勇鷹號全交機、ADF卻已成「爛尾樓」　當年為保持國產戰機量能、選擇高價自製高教機划算嗎？ ｜ 更多文章 ）