過去幾年，被稱為有效利他主義的社會運動在矽谷大大小小的AI公司中間製造了裂痕，信奉者與懷疑者彼此對立。
OpenAI內爆顯示了這項運動的影響力，而CEO阿特曼（Sam Altman）凱旋而歸也暴露了實打實的局限，說明在過去一年中，這一自帶分裂屬性的哲學理念沒少帶來創傷。
就在有效利他主義最著名的支持者山姆·班克曼-弗里德（Sam Bankman-Fried）被判犯有詐騙罪的幾周之後，OpenAI的風波再次打擊了這項運動；該運動認為，精心構建的AI系統若注入正確的人類價值觀，將產生一個黃金時代——而如果做不到這一點，則可能帶來世界末日般的後果。
一年前發布了ChatGPT的OpenAI，其成立在一定程度上基於有效利他主義的原則；這是一種廣泛的社會和道德哲學，影響著矽谷和其他地方的AI研究社區。一些追隨者住在私人的集體宿舍裡，在那裡他們可以集思廣益，進行哲學辯論，還可以玩一種被稱為「瘋人院棋」（Bughouse） 的四人對弈國際象棋變體來放鬆自己。該運動包括致力於動物權益和氣候變化的人，他們從理性主義哲學家、數學家和未來預測者那裡汲取靈感。
有效利他主義者認為，在科技巨頭數以億美元計資助的推動下，一窩蜂地去搞AI可能會毀滅人類。他們在AI發展問題上更注重安全而非速度。這場運動有其偏狹性和多面性，但有一個共同的信念貫穿其中，他們信奉的是要在世上行善——即使這僅僅意味著先賺大錢再把錢給予值得幫助的人。這場運動的參與者有些是生成式AI熱潮的弄潮兒。
據了解相關爭端內情的人士稱，上周五遭董事會解職的阿特曼與該公司首席科學家兼董事會成員Ilya Sutskever有衝突，事涉一些與有效利他主義關切相呼應的AI安全議題。
與此次董事會「政變」牽頭人Sutskever一起投票的是董事會成員Tasha McCauley和Helen Toner，前者是一位科技公司高管，還是有效利他主義慈善機構Effective Ventures的董事會成員，後者是喬治城大學（Georgetown University）安全與新興技術中心（Center for Security and Emerging Technology）的高管，該中心得到一個致力於有效利他主義事業的慈善機構的支持。知情人士說，他們佔到將阿特曼解職所需四票中的三票。董事會稱阿特曼未能做到「始終如一地坦誠」。
阿特曼被罷免引發了該公司員工的大範圍反抗，這場反抗威脅到了OpenAI的未來。約770名員工中有700多人要求阿特曼回歸，並威脅要跳槽到OpenAI最大的投資者微軟。Sutskever周一表示，他對自己的投票感到後悔。
風險投資家、OpenAI投資人Vinod Khosla在The Information的一篇評論文章中寫道：「OpenAI的董事會成員對『有效利他主義』的信奉及錯誤應用，可能會阻礙世界享受AI的巨大紅利。」
阿特曼今年春天在全球巡迴演講，警告AI可能造成嚴重危害。他也稱有效利他主義是一種「存在嚴重缺陷的運動」，會有「非常奇怪的系統湧現出來」。
有效利他主義社區花費了巨資來宣傳AI構成生存風險的觀點。德克薩斯大學奧斯汀分校（University of Texas, Austin）的電腦科學家Scott Aaronson在OpenAI從事AI安全研究，他表示，正是ChatGPT的發布引發了人們對AI飛速發展的廣泛關注。他說，這款聊天機器人令人吃驚的能力讓以前對此不以為然的人們感到擔憂。
這場運動已經在科技行業的科學家、投資者和高管隊伍中傳播開來，他們競相創造AI系統，以模仿並最終超越人類的能力。這場運動的參與者認為，AI可以帶來全球繁榮，但首先必須防止它造成破壞。
Google（Google）和其他公司正試圖率先推出能與人腦媲美的AI系統。這些公司在很大程度上將AI視為一種工具來推動工作和經濟發展，並從中獲取巨額利潤。
支持該運動的知名人士包括Facebook的聯合創始人Dustin Moskovitz、Skype的億萬富翁創始人Jann Tallinn，他們承諾為有效利他主義研究提供數以十億美元計資金。班克曼-弗里德伏法之前，也承諾提供數以十億美元計資金。馬斯克（Elon Musk）曾稱有效利他主義的聯合創始人William MacAskill的著作「與我的理念非常吻合」。
風險投資公司Andreessen Horowitz的聯合創始人Marc Andreessen和初創企業孵化器Y Combinator的CEO Garry Tan對這一運動提出了批評。Tan稱這是一種沒有實質意義的「美德信號哲學」，應予以摒棄，以「解決真正的問題，創造人類的富足」。
研究員Shazeda Ahmed在普林斯頓大學（Princeton University）領導一個研究該運動的團隊。Ahmed說，有效利他主義者對AI將毀滅人類的急劇恐懼，「影響了他們接受來自該文化以外的批評的能力」。Ahmed說：「對於所有試圖解決某個尖銳問題的群體來說，這肯定都不是好事。」
OpenAI的動蕩揭露了矽谷的一場幕後較量，相信市場力量的人與認為道德、理性、數學和精巧的機器應該引領未來的有效利他主義者形成了對峙。
對這一運動的描述基於對50多位高管、研究人員、投資者、現任和前任有效利他主義者的採訪，以及有效利他主義領域的公開演講、學術論文和其他公開資料。
迴紋針惡作劇
迴紋針已成為AI潛在風險的一個象徵。這源於一種假想情境，涉及一個被告知要製造盡可能多迴紋針的AI系統可能為追求產量最大化而毀滅整個人類。
這個惡作劇是同城競爭對手Anthropic的一名員工所為，而Anthropic本身也受困於AI安全問題引發的分歧。
2021年初，OpenAI的頂級研究科學家Dario Amodei從公司離職，公司的幾位高管也加入了他的行列。他們創辦了Anthropic，這是一家對有效利他主義者友好的AI研究公司。
班克曼-弗里德曾是Anthropic最大的投資者之一，並支持該公司的使命，即更看重AI的安全性，而非成長和利潤。
對未來AI系統的恐懼並沒有阻止那些擔心安全的人嘗試建立通用人工智慧（AGI），這是一種與人腦相媲美或超越人腦的先進系統。
去年12月，在OpenAI的節日派對上，Sutskever在舊金山加州科學館（California Academy of Science）向數百名員工和嘉賓發表了講話。 那裡離科學館的斑馬、羚羊和獅子填充模型不遠。
首席科學家Sutskever說：「我們的目標是製造一個熱愛人類的AGI。」
有效利他主義者說，他們可以構築更安全的AI系統，因為他們願意投資於所謂的對齊（alignment）：確保員工可以控制其創造的AI技術，並確保AI技術符合一系列人類價值觀。迄今為止，還沒有哪家AI公司說過這些價值觀應該是什麼。
OpenAI最近表示，在未來四年將把自身五分之一的計算資源投入到該公司所說的「超級對齊」（superalignment）上；超級對齊是由Sutskever牽頭的一項工作。知情人士稱，該團隊已在打造的東西包括一個可以對AI系統進行研究的AI衍生「科學家」。
一些沮喪的員工表示，對AGI和對齊的關注已導致用於解決更緊迫問題的資源減少，比如開發者濫用、欺詐以及可能影響2024年大選的惡意使用AI等問題。他們說，資源方面的差異反映了有效利他主義的影響。
據熟悉OpenAI的人士稱，雖然OpenAI正在開發自動化工具來捕捉濫用行為，但並沒有為這項工作僱用很多調查人員。該公司也沒有多少員工負責監控其開發者平台，有200多萬的研究人員、公司和其他開發者在使用該平台。
該公司最近僱人評估OpenAI技術在美國2024年大選中的作用。有專家警告說，AI生成的圖像有可能誤導選民。
OpenAI的一位發言人說，該公司已投入巨資來審核其產品，並有幾個團隊來管理短期風險。該公司表示，還投入了大量資源訓練AI模型，以避免產生有害內容。
據Google的現任和前任員工稱，今年該公司合併旗下兩個AI部門DeepMind和Google Brain的做法引發了對如何應用有效利他主義原則的意見分歧。
知情人士透露，Google Brain的員工稱，他們在很大程度上忽略了有效利他主義，而是探索AI的實際用途以及AI工具可能被濫用的問題。
Google Brain的一位前員工將與DeepMind的合併比作一場包辦婚姻，說這導致很多人在Brain很尷尬。
AI造成災難的估計概率
21歲的AI安全研究員Arjun Panickssery與其他有效利他主義者住在Andromeda House，這是一棟三層樓住宅，有五間卧室，距離加州大學伯克利分校（University of California, Berkeley）校園有幾個街區。
他們舉辦晚宴，來訪者有時會被要求透露他們估計AI導致災難的幾率，也就是P（doom）。
Panickssery說，在灣區，加州大學伯克利分校是有效利他主義的一個中心。有些房子劃出了AI禁止區，以便讓疲於不斷談論AI話題的人們得到解脫。
據Open Philanthropy網站上的資訊，其時任執行長Holden Karnofsky一度與兩位OpenAI高管同住。Open Philanthropy是一家支持有效利他主義事業的非營利機構，自2015年以來已累計捐出3.27億美元，其中包括捐給OpenAI的3,000萬美元。
Karnofsky與Daniela Amodei（Anthropic現任總裁）訂婚時， 兩人與Amodei的兄弟Dario（Anthropic現任執行長）是室友。
2017年8月，Karnofsky和Daniela Amodei舉辦了一場以有效利他主義為主題的結婚儀式。婚禮來賓被鼓勵向Karnofsky的有效利他主義慈善機構GiveWell捐款，並事先閱讀德國哲學家哈貝馬斯（Jurgen Habermas）一部457頁的巨著。
當時這對新人在婚禮網站上寫道：「這對於理解我們的婚禮是必要的背景。」
有效利他主義運動可以追溯到大約20年前，當時牛津大學（Oxford University）的一群哲學家以及被他們認定的「超級鐵桿行善者」試圖找到一個營銷術語來推廣他們的功利版慈善事業。
支持者們的理念是，要把他們花時間做的好事利益最大化。他們可以盡可能多地賺錢，然後將其中大部分捐出去，用於解決政府和傳統非營利組織所忽視的或尚未解決的問題。他們專注於實踐那些每花費一美元就能產生最大影響或幫助最多人的點子。
本月被定罪的班克曼-弗里德表示，他積累財富的目的只是為了把大部分財富捐出去。
從2014年前後開始，有效利他主義者的關注點轉向人類被先進AI系統毀滅的風險，認為這種危險的程度堪比氣候變化。這種啟示與瑞典哲學家Nick Bostrom寫的《超級智慧》（Superintelligence）一書的出版彼此呼應，用來比擬AI危險的所謂「迴紋針」理論也隨之流行起來。
自那以後，有效利他主義者形成了在線社區網路，他們在這裡交流工作建議、爭論哲學並提供預測。附屬的非營利機構和學生團體組織當地聚會和會議，專注於使用理性、經濟學和數學來解決全球最大的問題。
這封郵件建議該記者「多花一些時間與有效利他主義團體接觸，會有裨益」。
