過去一周，全球掀起對人工智慧（AI）風險的反思。這股浪潮從矽谷的尖端實驗室蔓延到美國千家萬戶，也進入了華盛頓和北京的權力中心。
在公開從Anthropic辭職，並就可能導致人類滅絕的AI系統危險發出警告之前，雅各布·考克森（Jacob Coxon）一直默默無聞。
低成本飽和痛擊！無人機崛起，美俄軍事霸權也栽跟斗
《華爾街日報》主題報新一期上線，登入會員免費領！
☛瞭解詳情
這位27歲的英國研究人員曾是一名頗有數學天賦的學生，後來進入劍橋大學就讀，年輕時曾參與倫敦一個被稱為「理性主義者」的思想社群，前往矽谷之前曾短暫嘗試過大宗商品交易。
但他在網上幾乎沒有留下痕跡。朋友們也沒想到，他會因為倫理上的擔憂而辭掉AI領域的工作。甚至在舊金山那個緊密的AI安全倡導者圈子裡，他也算不上什麼核心人物，這個圈子的人經常在下班後的聚會上討論AI可能帶來的糟糕情形。
然後他辭職了，並告知世人，他在OpenAI和Anthropic內部的前同事們「真心相信AI可能在本十年末殺死我們所有人」，而那些競相打造這項技術的實驗室是在「拿我們的生命作賭注」。
多年來，AI研究人員一直發出嚴厲警告。但先前從未有過一次警告能如此迅速地讓這麼多人感到不安。某種意義上說，考克森就像點燃了一根火柴，引爆了先前不斷積累、卻始終沒有單獨引起世人關注的一系列令人擔憂的事態。
在考克森敲響警鐘後的數日內，彼此競爭的實驗室負責人罕見地站到一起，一致認為現在是時候放緩迅猛加速的技術開發了。與此同時，美國總統川普（Trump）說，美國所需要的唯一護欄就是一位「強大而聰明」的總統；中國則稱美國高管的擔憂是在製造恐慌。
考克森接受採訪時說，如此強烈的反響令他始料未及。這也讓這位戴著玳瑁色眼鏡的數學天才，從矽谷AI公司數百名同類研究人員中的普通一員，變成了AI安全領域的代表人物。
考克森說，離開這個行業是他自己的決定，之後他向朋友和AI安全社群成員徵求了建議。
這些人很快幫助擴大了他的言論影響，其中包括一個由非營利機構AI研究人員組成的網路。長期以來，這些機構一直公開警告AI可能帶來的災難性後果。其中一些機構的資助者與「有效利他主義」理念有關。這一理念強調造福世界，方式包括慈善捐贈，也包括防止AI造成傷害。
他的言論也讓他成為AI發展支持者的攻擊目標。這些人認為，他這次引人注目的辭職是推動更嚴格全球監管的一場協同行動的一部分，而這種監管最終會讓最大的AI公司受益。在他們看來，相關恐懼被過度誇大了，而考克森的辭職成了實現這一目標的工具，並受到了有效利他主義運動中一些人的推波助瀾。
（相關報導：
華爾街日報》華為計劃如何成為「中國的輝達」
｜
更多文章
）
自他辭職以來，全球市值最高的公司和AI實驗室的高管們，在他點燃的這場爭論中站到了對立面。Anthropic執行長達里奧·阿莫迪（Dario Amodei）說，對於考克森的觀點，他的認同多於不認同。輝達（Nvidia）執行長黃仁勳（Jensen Huang）說，他欽佩考克森的勇氣，但質疑他對未來的判斷，並批評有關末日災難的預測不負責任。
他的支持者和批評者都把他稱為「吹哨人」，但他拒絕接受這個標籤。在他看來，他並不是在泄露公司機密。他只是把AI研究人員私下討論的事公開說了出來。
如今，他處在一場爭論的中心。一邊是加速主義者，他們認為AI的好處大於風險，而讓更多人有機會使用強大模型可以降低這些風險；另一邊是一派研究人員，他們希望在AI公司失去對這項技術的控制之前，放慢這項技術的發展。
在AI界，那些對風險最為警惕的人被稱為「末日論者」。
「如果『末日論者』指的是認為如果不改變當前做法我們就會死的人，」考克森說，「那我絕對是末日論者。」
令人驚嘆的時刻
在成為「末日論者」之前，考克森還在牛津一所精英預備學校讀書時接觸到了一本書，這本書後來對他的世界觀產生了影響。哲學家尼克·博斯特羅姆（Nick Bostrom）所著的《超級智能：路徑、危險與策略》（Superintelligence: Paths, Dangers, Strategies）讓考克森更加清晰地意識到一種擔憂：失控的AI可能給人類帶來關乎生存的風險。博斯特羅姆是正在興起的有效利他主義運動中頗具影響力的人物。
2016年，十幾歲的考克森看到Google DeepMind的電腦程式AlphaGo擊敗一名頂尖圍棋棋手。這是AI的分水嶺時刻，顯示機器能夠掌握那些似乎需要人類直覺和創造力的領域。
考克森的父親是一名中世紀德國文學教授。考克森酷愛數學並展現出天賦，他曾入選國際數學奧林匹克競賽英國隊，這是面向高中生的頂級賽事。他在2016年獲得一枚銀牌，次年又贏得一枚銅牌。
一天晚上，幾支數學隊一起去了香港的一家麥當勞。受考克森以及數論中著名的「麥樂雞定理」的啟發，他們湊出剩餘餐券，買了數百塊炸雞塊。來自世界各地的國際數學奧賽選手們一起大口吃著麥樂雞，一邊圍在白板旁試圖破解一道棘手的數學難題。
考克森所在隊伍的六名成員中，有三人最終進入AI實驗室工作，其中一人最近也從Anthropic離職了。喬·本頓（Joe Benton） 8月底離開Anthropic安全團隊，加入AI研究組織METR，後來他在X上寫道：「AI公司正競相打造比任何人類都聰明得多的機器，而我們人類可能無法倖存下來。」
考克森後來進入劍橋，打壁球，繼續學習數學。2020年他畢業時，OpenAI發布了名為GPT-3的突破性模型。該模型展示了支撐AI熱潮的一項核心理念：隨著用於訓練模型的數據量增加，模型能力會提升。
大學畢業後，考克森融入了一個規模不大但頗有影響力的理性主義者社群，這個社群希望重塑英國政府。這個基於線上的社群看重嚴密推理，而非政治直覺，並通過多米尼克·卡明斯（Dominic Cummings），開始在政壇站穩腳跟。卡明斯是英國脫歐的設計者之一，也曾擔任唐寧街顧問。考克森本周在X上說，他認同理性主義者，但反對與這場運動相關的一些做法，比如多角關係和純素主義。
考克森當時住在倫敦的Newspeak House。這是一所自稱獨立寄宿學院的機構，既是共享居住空間，也是活動場地，年輕人在那裡聚集，討論技術與政治。
考克森曾參加這座建築屋頂上的派對。後來進入AI領域的一些人物也曾出現在那裡，其中包括洛根·格雷厄姆（Logan Graham）。格雷厄姆當時是首相鮑里斯·強生（Boris Johnson）的特別顧問，現在負責領導Anthropic就未來的國家安全威脅對模型進行壓力測試的工作。
另一位曾到訪Newspeak的人是阿維塔爾·巴爾維特（Avital Balwit）。她現在是阿莫迪的幕僚長，也是對沖基金交易員利奧波德·阿申布倫納（Leopold Aschenbrenner）的妻子。
考克森曾嘗試大宗商品交易，用統計分析和機器學習預測能源價格。一位熟人記得，考克森當時反覆琢磨不同職業道路，想尋找優化自己的人生道路的方法。
業餘時間裡，他更深入地研究AI，認為這是世界上最令人興奮的機會。他過了一段自稱「空檔年」的生活，與大學朋友住在學生公寓。
從矽谷起步
2023年，在ChatGPT轟動發布、讓OpenAI確立了行業領先地位後，考克森搬到舊金山，開始在OpenAI工作。
憑藉數學學位，他通過一個為期六個月的項目加入這家實驗室。該項目面向先前沒有AI從業經歷的研究人員。從事安全工作的人員常常聚焦於「對齊」，也就是確保AI系統行為符合人類意圖。考克森主要從事預訓練，也就是在模型針對具體任務進行微調之前，先用海量文本、圖像和代碼對模型進行訓練。
「雅各布是在搭建大腦，」前同事威爾·德普尤（Will DePue）說。「然後由別人訓練這個大腦，讓它知道在現實世界中該如何行動。」
他並不是以積極發聲或熱衷於AI安全而出名。德普尤稱他是「正常的研究人員」，也就是那種和其他員工一樣有著典型擔憂的人；這些員工比任何人都更了解這項技術的優勢和風險。
2023年底，他提前接觸到OpenAI首個推理模型Q*。這個模型能夠把大問題拆解成若幹部分，並逐步思考。考克森說，他給它出了一道棘手的填字遊戲題，看著它一步步推理解決，驚嘆不已。
他說，後來每當OpenAI安全團隊成員離職，他都會留意，其中包括丹尼爾·科科塔伊洛（Daniel Kokotajlo）。科科塔伊洛後來組建了一個研究團隊，預測AI發展的不同情景。
Coxon擔心AI發展出可能超越人類能力的超級智能。但他說自己當時以為， 如果確有必要，各國政府將會協調一致放慢極速的發展步伐。
「當時感覺就像是在為真正的關鍵時刻預熱，」考克森說。
與此同時，考克森說，隨著模型進步遠快於他的預期，他一直關注AI在數學領域取得的驚人進展。突然之間，AI已經不再連基本的算術都應付得吃力。2024年，一個Google DeepMind模型在國際數學奧林匹克競賽中的表現足以拿到一枚銀牌。2025年，DeepMind和OpenAI的模型雙雙斬獲金牌。
不過到了2026年，考克森和AI安全社群中的許多人真正開始恐慌。
AI失控
今年早些時候，一個名為Mythos的Anthropic模型以及其他同樣先進的工具展示出發動複雜網路攻擊的能力。一些研究人員將這視為一個令人不安的信號，認為他們正在打造的產品正變得過於強大。
Anthropic安全防護研究團隊負責人發出警告稱「世界正處於危險之中」，隨後離開公司，轉而去研究詩歌。
到那時，考克森在Anthropic已經有不少朋友。他說，他感覺OpenAI的這家競爭對手在這項技術相關風險上更透明。Anthropic的Claude編程工具走紅後，也已超過先前無可爭議的領頭羊OpenAI。Anthropic當時正計劃進行可能成為史上規模最大的首次公開募股。
5月，考克森離開OpenAI，跳槽到Anthropic。
OpenAI在今年7月披露，該公司一個尚未發布的模型逃出測試沙盒，並入侵了AI公司Hugging Face。不久之後，Anthropic表示發現了幾起類似事件。8月底，METR發布了一份令人警醒的報告，顯示Hugging Face事件比任何人所了解到的情況都要嚴重。
考克森說，METR的報告對他和同事們來說是一個震驚時刻。
數月來，模型開發商內部對AI快速進步的擔憂一直在累積。今年早些時候，在Anthropic與五角大廈發生爭議期間，許多研究人員公開表達了對AI被用於監控的擔憂。
最近的模型進展在企業內部引發大量私下討論，包括在Slack頻道和員工大會上。討論內容從技術防護措施的細枝末節，到模型若繼續快速改進可能出現的最壞情形等等。討論還涉及如何確保各實驗室之間的競爭不會失控。
擔心安全問題的人長期以來一直害怕這樣一天的到來：AI系統自身就能夠構建下一代聰明得多的AI系統。這些實驗室稱，它們已看到這種被稱為「遞歸自我改進」動態的早期跡象。這可能會加快通往考克森所擔心的超級智能的進程。
考克森說，最近幾周，他曾找自己在Anthropic的上司討論他的擔憂，並曾考慮轉到AI安全相關崗位，最終還是決定辭職。
「即便在Anthropic從事安全工作，也讓我覺得自己是在參與這場競賽，」他在採訪中說。
在他看來，要確保AI安全，就需要一項由各國協調達成、並包含政府承諾的協議，以便在必要時放慢AI模型的研發速度。他還說，他認為美國、中國和其他政府需要就一項類似核軍控協議的計劃達成一致，以避免災難性後果。
在最終敲定辭職前，考克森說，他向一位老同事徵求了建議。科科塔伊洛曾是OpenAI安全團隊成員，現在從事AI安全研究。他在加州大學伯克利分校（University of California, Berkeley）校園與考克森散步交談，並讓考克森確信自己做出了正確的決定。
由於在Anthropic任職時間短，考克森沒有獲得這家公司的股權。Anthropic正加緊準備在未來幾個月以約2兆美元估值上市。他仍持有OpenAI的股份。
當要宣布辭職時，考克森說他向朋友內森·卡爾文（Nathan Calvin）尋求幫助。卡爾文是AI安全倡導非營利組織Encode AI的首席法律顧問，也是那個就潛在生存風險敲響警鐘的網路中的一員。
考克森辭職當天，OpenAI和Anthropic員工正在關注另一條消息。考克森說，如果放在幾個月前，這條消息會讓他震驚：AI解出了一道千禧年大獎難題。這道以難度著稱的數學難題已經困擾人類近一個世紀。這一曾經看似不可想像的突破，如今已成為現實。
當日下午，考克森在Slack消息中告訴Anthropic同事他要辭職。他說，若缺乏適當的國際協調，他擔心人類可能會滅絕。約半小時後，《華爾街日報》（The Wall Street Journal）報導了這一消息。
隨後，考克森坐在舊金山一個公園長椅上，連發了一串關於自己辭職的貼文。
考克森的X帳號關注者不到100人。幾分鐘內，他的資訊就被卡爾文、科科塔伊洛以及其他AI安全倡導者轉發，其中包括他的許多前同事。
當晚，負責Anthropic對齊工作的團隊負責人也呼應了他的說法。這是一個關鍵部門，目標是確保AI按人類意圖行事，而不是殺死所有人。
「我們確實非常認真地認為，AI可能殺死全人類！」埃文·休賓格（Evan Hubinger）寫道。他還說，他認為未來十年內所有人死亡的概率超過10%。
考克森說，他沒有與Anthropic任何人協調這場社群媒體密集發聲。
接下來一周，這位先前默默無聞的研究人員頻頻出現在各大電視網節目中，並收到圖書出版商和播客主持人發來的大量資訊。到周末，他的貼文已引發巨大震動，頂級AI實驗室開始呼籲行業放慢腳步。總統和議員們都在談論AI政策，新聞機構每天多次報導，對AI可能引發毀滅性災難的擔憂已經在全美蔓延開來。
宣布辭職幾天後，考克森在伯克利再次與科科塔伊洛散步。科科塔伊洛從事的正是考克森說自己希望今後從事的AI情景預測。科科塔伊洛告訴考克森，他已經把資訊傳達出去了，並建議他拒絕更多媒體露面，好好睡一覺。
（相關報導：
華爾街日報》華為計劃如何成為「中國的輝達」
｜
更多文章
）
「這些公司裡有那麼多人本來都可以這麼做，」科科塔伊洛說，「但他是那個真正做了的人。」
