Anthropic研究員雅各布·考克森（Jacob Coxon）本周辭職，並稱自己的前東家及其競爭對手OpenAI正在競相開發「可能在本十年末殺死我們所有人」的技術。
有此想法的並非只有考克森一人。就在他表態幾分鐘後，Anthropic的一名現任員工也證實了這一點。「我們真的深信AI可能毀滅全人類！」在Anthropic牽頭負責未來人工智慧系統的引導與控制研究的埃文·哈賓格（Evan Hubinger）寫道，並估計人類在未來十年內走向滅絕的概率超過10%。
面對這種言論，許多人現在不禁要問：這怎麼可能發生？既然明知AI構成了切實且日益嚴重的威脅，為何還要執意去研發它？
低成本飽和痛擊！無人機崛起，美俄軍事霸權也栽跟斗
《華爾街日報》主題報新一期上線，登入會員免費領！
☛瞭解詳情
末日論者究竟在擔心什麼？
所謂的末日論者通常並不擔心《魔鬼終結者》（Terminator）系列電影中的情節會成為現實，也就是機器人主動出擊以滅絕人類。他們的擔憂主要集中在兩個方面：AI失控與人類濫用。
在失控場景中，具備自我複製與改進能力的高智能AI智能體會開始追求自身目標，並在此過程中毀滅人類。而在濫用場景中，心懷不軌之人會利用強大的AI作惡，例如製造出足以消滅全人類的新型病毒。
此外，還有一些災難性場景，雖不至於導致人類滅絕，但同樣極具破壞性，比如，大規模網絡攻擊導致電網或金融系統癱瘓，進而引發人類社會秩序全面崩潰。
失控如何導致人類滅絕？
簡而言之，如果AI系統在追求自身目標時採取了無視甚至違背人類福祉的方式，就會引發研究人員所說的「對齊失效」。已有研究表明，實驗室中的AI模型能夠學會「謀權」行為，並採取措施防止自己被關閉，比如試圖將自身複製到其他伺服器上。
極端情況下，對齊失效的AI模型可能會將殺死人類僅僅視為達成目標的必要步驟。在研究人員設想的一種情景中，懷有惡意的AI系統可以散播秘密生物武器，並通過化學噴霧將其觸發；甚至可能挑撥兩個核大國爆發戰爭。
一個常見的思想實驗是：如果一台超智能機器接到的指令是最大限度地生產迴形針，那麼隨著時間推移，它可能會決定將地球上的所有物質都轉化為迴形針，包括人類在內。
究竟是誰在擔憂這些？
這其中就包括OpenAI和Anthropic的創始人。這兩家公司在成立之初均將「以避免災難的方式開發AI」為使命，並藉此吸引了大批志同道合的員工。Anthropic首席執行長官達里奧·阿莫迪（Dario Amodei）去年在Axios舉辦的一場活動上直言，他認為有25%的概率事態會變得「非常、非常糟糕」。
（相關報導：
華爾街日報》漫步於台灣廟宇，我窺見中國另一種可能的模樣
｜
更多文章
）
近年來，已有多位研究人員因認為OpenAI對安全問題不夠重視而選擇離職。OpenAI前研究員丹尼爾·科科塔伊洛（Daniel Kokotajlo）創立了非盈利研究組織AI Futures Project。該機構去年發布了一份名為《AI 2027》的情景預測，設想超智能AI系統將把人類逐漸邊緣化，並在2030年代中期認定人類是個麻煩，進而將人類徹底滅絕。
未必如此。並非所有的失控風險都會導向人類滅絕。一些擔憂AI安全的研究人員指出，人類還面臨著「能力退化」的風險。那將是一個類似《瓦力》（WALL-E）的未來：人類逐漸將控制權讓渡給機器，最終不僅無法定義、甚至連理解自身命運的能力都會喪失。還有人推測，AI系統未來對待人類的方式，可能會像今天人類對待動物一樣，將人類當作寵物，甚至通過生物工程將人類改造成某種新物種。
這些擔憂由來已久，為何突然備受關注？
隨著具備更強自主行動能力的模型相繼問世，近期的一系列事件已經印證了AI末日論者的部分猜測。OpenAI內部的一群先進AI智能體曾侵入AI平台Hugging Face，奪取了電腦伺服器的控制權，並試圖掩蓋其活動痕跡。在另一起事件中，Anthropic的AI智能體逃脫了英國政府的測試環境，並試圖誘騙一名真人批准執行惡意電腦代碼。
就在這些事件發生的同時，Anthropic和OpenAI均宣稱即將開發出無需人類干預便能實現自我改進的AI系統，即所謂的「遞歸式自我改進」。
業界正採取何種應對措施？
目前的AI安全工作主要側重於訓練系統規矩行事，並加強對模型在追求目標時的推理過程的監控。這一推理過程被記錄在所謂的「思維鏈」中。
但這些努力正面臨挑戰。上周，OpenAI表示其新款Astra模型更擅長清理自身的「思維鏈」，這引人擔憂未來的AI模型可能會以對人類完全不透明的方式進行推理。
儘管Anthropic和OpenAI都在研究如何確保超智能AI模型保持對齊，但雙方均承認，目前尚無可靠的方法來實現這一目標。多家知名企業和業界領袖已發出呼籲，要求建立新機制，促使各AI實驗室和國家能夠協同放緩研發步伐，從而為對齊研究爭取時間。
既然如此危險，企業為何還要執意開發AI？
Anthropic和OpenAI均表示，他們相信自己有能力管控相關風險，從而讓人類切實從AI工具中獲益。許多參與這場AI角逐的業內人士也認為，超智能的降臨已是不可避免之勢，唯一的問題在於：誰來掌控它？又將用於何種目的？
此外，國家安全也是一大考量因素。兩家公司都明確表示，希望確保掌握最強大AI的是美國，而非專制政權。
政府正在採取什麼措施？
白宮最近要求頂級AI模型的開發者在產品發布前，提前最多30天自願將模型提交給政府進行測試。不過，白宮尚未公開披露有關該測試流程的具體資訊。
兩黨議員已提出多項法案，旨在應對可能失控的AI系統。德州共和黨籍眾議員納撒尼爾·莫蘭（Nathaniel Moran）與加州民主黨籍眾議員劉雲平（Ted Lieu）最近共同提出一項法案，要求強大模型的開發者必須為其系統配備「緊急停止開關」。其他法案則要求AI公司必須向聯邦政府報告嚴重的安全事件，並強制規定國家安全官員須在模型公開發布前對其進行測試。然而，這些法案目前均未取得實質性進展，且川普（Trump）政府已表現出傾向於維持最低限度監管的立場。
誰對這些風險有異議？
一些AI投資者不同意這種風險論調，美國總統川普的非正式顧問大衛·薩克斯（David Sacks）便是其中之一。他認為，Anthropic大肆渲染AI風險並呼籲加強監管，實則是其「監管俘獲」議程的一環，旨在通過嚴苛的新規來遏制規模較小的競爭對手。
面對這些質疑，Anthropic和OpenAI均表示，他們對安全問題的重視絕非兒戲，呼籲加強監管也完全出於真心。
