當AI能夠「自主研發」新AI，我們距離「機器接管世界」已經不遠？Anthropic呼籲：保留「暫停前沿AI開發」選項

AI會寫程式早已不稀奇，但如果有一天，AI開始自己「繁衍」下一代呢？《經濟學人》7日指出，全球最先進的AI系統已能協助訓練新模型、優化演算法，甚至接手部分研究工作。Anthropic共同創辦人更預言，未來幾年內，可能出現能自主打造下一代AI的系統。這種被稱為「遞迴自我改進」（RSI）的能力，被視為通往超級智慧的關鍵。它將讓科技進步呈現指數級井噴，卻也讓頂尖學者開始擔憂：當機器學會自主進化，人類還能掌握自己的命運嗎？

如果有一天，AI不僅能幫你寫代碼，還能當自己的工程師，打造出更強大的「下一代AI」，世界會變成什麼模樣？

對於這個設想，《經濟學人》指出，目前還沒有任何AI模型能完全獨立打造後繼模型，但大型AI已經能自行建立小型AI；在人類協助下，它們也能參與開發其他大型AI模型，一步步從工具走向研發流程的一環。

今年稍早，OpenAI研究團隊創始成員、如今任職Anthropic的卡帕西（Andrej Karpathy）嘗試復刻OpenAI在2019年推出的GPT-2模型。當年這項工程需要在32枚頂級晶片上訓練168小時；如今，卡帕西只靠一台配備8枚GPU的電腦，短短3小時就大功告成——幾個月後，他又將他的模型——Nanochat——的訓練時間壓縮到2個小時多一點。

今年三月，卡帕西把加速訓練的工作全權交給名為Autoresearch的AI代理工具。僅僅兩天後，AI就把訓練時間砍到1小時48分鐘；再過5天，又降低到1小時39分鐘，AI竟能在頂尖專家的天花板上，再提升18%的效能紅利。「我連碰都沒碰，」卡帕西驚嘆道。

《經濟學人》特別強調卡帕西可不是「小咖」，他除了是OpenAI研究團隊的創始成員，還在特斯拉擔任了五年的AI 負責人。但AI使用的方法並不神祕，不過是修正參數起始值、擴大注意力窗口、抓出模型失焦的漏洞——這些細節專家都懂，不過卡帕西也承認自己疏忽了，當AI代理將這些小地方都做好，就能發揮出巨大的威力。

《經濟學人》觀察到，那些年薪千萬、看似光鮮的AI開發工作，背後其實充滿串接基礎設施、除錯硬軟體、反覆調校超參數等大量枯燥的體力活。而這些基礎勞動，如今已有相當大一部分能直接交給AI搞定，人工智慧更可以在幾乎沒有人類監督的情況下，獨力完成這些工作。 （相關報導： 習近平這張「王牌」多恐怖？日本面臨「稀土衝擊2.0」，東京加速重塑「去中化」供應鏈 ｜ 更多文章 ）

紐約AI實驗室Reflection AI研究員史匹薩克（Joe Spisak）表示，連更精細複雜的研究工作也正在走向AI自動化。現在，研究人員只要提出粗略的構想，前沿AI就能在30分鐘內自行設計實驗、除錯並完成測試，提出可直接應用的優化方案，效率是人類的好幾倍。未來，人類只需擔任指引方向的研究總監、指導AI實作，自主編碼、除錯、優化和監控的將全都交由電腦完成。不過《經濟學人》也指出，當AI也能勝任指導工作時，最後恐怕驗證模型安全性的也是AI——隨著人類在研發過程逐漸退場，AI確實有可能失去控制。

《經濟學人》指出，最新一代的AI模型已經是非常優秀的程式設計師、工程師，不久的未來甚至也會成為很棒的科學家，這讓許多人擔心，這些AI模型可能是人類最後製造的作品。不過在Anthropic共同創辦人傑克．克拉克（Jack Clark）看來，真正的轉折點可能還沒到來，但是到了2028年底，有高達六成的機率出現一套「完全不需要人類插手」，就能自主研發出下一代的AI系統。那一天，將是人類科技史的分水嶺。

科技圈將這種情境稱為「遞迴自我改進」（RSI）：初代模型打造出速度更快、能力更強的二代，二代再孕育出更厲害的三代。一旦打造出具備這種能力的AI系統，人類工程師將徹底失業——因為機器早會瘋狂迭代、生生不息。克拉克說，這種看似奇幻的情節，如今恐怕已經是真實的科技趨勢。

人們完全無法預測RSI會帶來什麼後果，因為AI不需要睡覺、沒有過勞問題，一旦進化齒輪開始轉動，科技能力可能在極短時間內出現斷裂式的暴增，最終催生出超越人類理解的「超級智慧」。矽谷甚至給了這個智慧大爆炸的瞬間一個充滿戲劇張力的擬聲詞：「Going Foom！」——就像在一聲巨響中，迎來人類將命運交棒給機器的瞬間。

《經濟學人》指出，要實現真正的RSI，必須先將整條研發鏈完全自動化，讓AI接管目前由資料科學家、程式設計師、系統工程師和安全團隊各司其職的所有工作。這些任務的自動化難度並不相同，未來程式設計師或許很快就不必親自寫程式，但要叫AI去談判並取得尚未數位化的科學文獻，短期內還很難做到。

不過，這種不均勻的技術推進線正以超乎想像的速度發展。過去大家以為「設計新演算法」是人類的專利，但Google DeepMind的AI模型AlphaEvolve已經打破這道防線。它不僅幫Google全球資料中心省下0.7%的算力，還自行優化了矩陣乘法，讓旗艦模型Gemini的訓練速度提升了1%。

如果這些末日警告只是落後者的酸葡萄心理，外界或許笑笑就過。但偏偏，這次帶頭喊煞車的，是全矽谷風頭最健的AI天王Anthropic。這家預計今年稍晚上市，很可能成為史上規模最大的首次公開募股（IPO）的超級獨角獸，旗下Claude機器人深受碼農（程式設計師）的喜愛。2025年2月推出的AI代理工具Claude Code更成為全球開發者不可或缺的工具；Anthropic稍早更自爆，在自家發布的程式碼裡，竟有高達五分之四都是Claude寫的。 （相關報導： 習近平這張「王牌」多恐怖？日本面臨「稀土衝擊2.0」，東京加速重塑「去中化」供應鏈 ｜ 更多文章 ）

根據智庫METR基準測試，2025年初AI還只能幫工程師打雜、處理人類要花一小時左右的瑣碎任務；如今最新系統一出手，就能搞定人類爆肝工作一天以上才能完成的大任務。

正因如此，當Anthropic在6月5日公開呼籲全球應該保留「放慢或暫停前沿AI開發」的選項時，整個產業投以懷疑的目光。畢竟，哪個市場領導者不希望競爭對手停下腳步、別再緊緊追趕？

然而《經濟學人》認為，此舉並非Anthropic的商戰策略，而是他們真的嗅到了危機。多年來，他們一直擔心失控AI可能造成災難，當AI成了地表最強的工程師，下一步就是進化成科學家，人類在研發流程中的角色正不斷縮小。研究人員最擔心的情境是：未來由模型訓練模型、由模型設定目標，最後再由模型自行驗證安全性。

麻省理工學院頂尖學者泰格馬克（Max Tegmark）就把這場可能發生的科技失控，比喻為「一個司機在高速公路上閉著眼睛猛踩油門」。他警告，超智慧AI輕則在政府與商業決策中架空人類，重則成為獨裁者的終極武器；甚至，他們可能壓根不在乎人類死活，直接把人類社會「斷水斷電」，好騰出空間來蓋更多資料中心。

三年前，泰格馬克就曾帶頭聯署叫停GPT-4開發；今年，智庫CSET也再次對RSI系統發出「極端風險」警告。如今，手握最強技術的Anthropic如今頻頻點頭同意，顯然，這台失控跑車的駕駛們，已經驚覺自己快踩不動煞車了。

《經濟學人》認為，儘管失控AI與超級智慧的討論沸沸揚揚，但距離真正的「遞迴自我改進（RSI）」其實還有一段路要走。除了技術瓶頸，現實世界的物理限制才是關鍵。最主要的制約是算力，即便演算法效率不斷提升，新模型的訓練消耗依舊高於前代。這意味著，AI能力的成長速度，很大程度取決於業界能否持續蓋出更多資料中心、部署更多晶片。

此外，現有的資料中心還面臨產能分配的拉鋸。CSET智庫代理執行長托納（Helen Toner）表示，有限的算力必須同時應付付費客戶、訓練下一代模型，並兼顧開放式研發。當大眾的商業需求越暴增，能留給未來研發的算力自然就會減少。

另一個關鍵障礙是訓練資料。近年AI之所以能快速突破，多半集中在有明確對錯標準的領域（如寫程式或數學證明），這類任務能透過「合成資料」自我訓練。但在創意寫作、法律判斷等缺乏標準答案的領域，AI很難只靠自己的產出持續進化。如果未來的升級仍高度依賴真實世界的全新資訊，自我改進的範圍就會受到極大限制。 （相關報導： 習近平這張「王牌」多恐怖？日本面臨「稀土衝擊2.0」，東京加速重塑「去中化」供應鏈 ｜ 更多文章 ）

《經濟學人》總結，讓AI達成「閉環」，確實是邁向超級智慧的重要一步，它可能是科技信徒眼中的烏托邦，也可能是反對者眼中的末日。不過，即便RSI真的實現了，這恐怕也只是AI進化過程的其中一個環節而已。