高頻率演算的交易者占美國股票交易市場的一半以上。演算交易涉及了2010年的大崩盤。
2010年5月6日下午，美國股票市場對歐洲的債務危機憂心忡忡，已然下跌了4%。到了下午2點32分，某大賣家（一個共同基金組合）啟動了一個販賣運算，以和每分鐘流動資金交易量相關的賣價，拋售了一大筆E-Mini S&P 500指數期貨合約。這些合約被高頻率運算的交易程式買下。這種程式的用途，是藉著把期貨合約賣給其他交易者，而快速排除短期多頭。由於來自基本買家的要求減緩，演算交易程式把E-Mini賣給了其他運算交易程式。那些運算交易程式又再賣給其他運算交易程式，結果產生了「燙手山芋」效應，提高了交易量，販賣運算將這個情況詮釋為資金高流動指標，促使它加速拋售E-Mini指數期貨合約，推動了惡性循環。
到了某一刻，高頻率交易程式開始撤出市場，導致資金流動枯竭，價格持續滑落。下午2點45分，E-Mini的交易被「自動斷路器」，也就是停止交易邏輯閘（stop logic functionality）中止。交易重啟之際，也就是僅僅五秒之後，價格便穩定了下來，並立刻開始回復大半損失。但有一陣子，在危機的谷底，市場蒸發了1兆美元，溢出效應更是導致各支股票以各種「荒唐」的價格大量交易，好比1分錢或10萬美元。到了當天收盤為止，交易代表人與監察委員會面，決定取消所有成交價高或低過危機前價格60%的交易。（認定這樣的交易「明顯謬誤」，因此符合在現有交易規則下的事後撤銷。）
重述這段插曲有些岔題，畢竟大崩盤中的電腦程式稱不上特別聰明練達，它們製造的威脅基本上與本書關注的機器超智慧觀點不同。儘管如此，大崩盤事件說明了一些有用的教訓。一是提醒我們，光是幾個簡單的成分互動（比如販售運算式和高頻率演算交易程式），就有可能產生複雜而意外的效果。系統引入新元素可能會產生系統風險，這種風險往往在問題爆發之後才昭然若揭。（有時甚至爆發完了還是不明顯。）
另一個教訓是，即便一個程式基於看似理性的正常假設（比如說，交易量是市場資金流通的優良指標），且由聰明的專業人士下指令，但若遇到了意料之外、假設不成立的狀況，程式仍堅守一致的邏輯持續運作，就有可能釀成大禍。就算我們眼看演算法釀成慘劇，在一旁瞠目結舌、搓手頓足，按部就班運行的演算法也不會理我們—除非它真的非比尋常。
大崩盤帶來的第三個教訓是，儘管事故是自動功能造成的，最終還是得靠它解決不可。比預設程式更早一步預設，並在價格不正常時中止交易的「停止交易邏輯閘」，也是因為正確預料了觸發事件可能在人類來不及反應的瞬間發生，所以才能自動執行。人類對於預設自動安全閥的需求—相較於仰賴有運行時間的人類管理—再一次預示我們接下來針對機器超智慧的討論中一個很重要的主題。
關於機器智慧未來的看法
人工智慧靠著兩個主要領域的進程恢復了失去的威望：一是在機器學習上追求更扎實的統計和資訊理論基礎；二是追求在各種專門問題及領域上，創造實用且有利潤的應用程式。然而，人工智慧社群的早期歷史可能有些殘存的文化影響，使得許多主流研究者不願意向太遠大的企圖靠攏。圈內大前輩尼爾斯．尼爾松（Nils Nilsson）就曾抱怨，現在的同事缺乏他那個年代推動領域前線的大無畏精神。
我認為，某些人工智慧研究者對於「名望」的顧慮，讓他們的思考退化了。我聽到他們說什麼「人工智慧以前被世人評說太虛浮，現在我們有了扎實的進展，可別冒著風險失去我們的聲望。」這種保守主義的結果，就是他們更加關注支援人類思考的「弱人工智慧」，遠離了企圖將人類水準智慧機械化的「強人工智慧」。
其他幾位人工智慧的創始者也回應了尼爾松的感歎，包括馬文．明斯基、約翰．麥卡錫和派崔克．溫斯頓（Patrick Winston）。
過去幾年，人工智慧風潮似乎再起，但也許尚未蔓延到通用人工智慧（尼爾松口中的「強人工智能」）的復興運動。除了更快的硬體，許多人工智慧分支領域的大幅進展（主要軟體工程，此外則是計算神經科學等相鄰領域）都讓當代的許多計劃獲益良多。2011年秋季，賽巴斯丁．史藍（Sebastian Thrun）和彼得．諾維格（Peter Norvig）在史丹佛大學開設了免費的線上人工智慧入門課程，反響不錯，全球各地約有16萬名學生登記選修課程，且有23,000人完成修業，可謂優質資訊與教育潛在需求的指標。
專家對於人工智慧的未來意見往往南轅北轍。不管是時間進程，還是人工智慧的最終形式皆眾說紛紜。至於人工智慧未來發展的預測，近期的一份研究指出：「其信心十足，一如其分歧多樣。」
儘管尚未有人仔細測量當前世人對人工智慧的信念分布，但我們從眾多較小的調查和資訊觀察可以大略推敲出概貌。尤其近期有一連串針對相關專業社群人員所做的問卷調查，詢問他們預期何時能開發出「人類水準的機器智慧」（定義為「可從事人類絕大多數的職業，至少要有普通人水準」），結果可見表二。合計的樣本得出以下估計（中間值）：2022年有10%的可能性，2040年為50%，2075 年為90%（問卷受訪者在「人類持續科學活動而沒有大型負面干擾」的假設下所估計的時間）。
這個數字不能盡信：樣本相當小，不一定能代表全體專家。然而，這個數字卻和其他調查結果一致。
調查結果也與近期幾篇針對二十多位人工智慧相關領域研究者的訪問一致。舉例來說，尼爾松在他時長又傑出的研究生涯中，致力於搜尋、計劃、知識呈現，以及機器人學的各種難題；他寫了好幾本關於人工智慧的著作，近期還寫完至今最全面的人工智慧史。關於人類水準的機器智慧何時會到來，他的看法如下：
10%的機會：2030
50%的機會：2050
90%的機會：2100
從發表的訪談稿來判斷，尼爾松教授回答的機率分布和該領域眾多專家看起來十分相似—儘管在此我還是要強調，看法其實眾說紛紜：有些專家胸有成竹、自信滿滿期待人類水準的機器智慧將在2020至2040年之間出現；也有人同樣充滿信心，但認為人類水準的機器智慧永遠不會成真，或者依舊遙遙無期。此外，有些受訪者覺得人工智慧的「人類水準」這種概念不但定義不明，還有誤導之嫌；或基於其他理由，不願意在受訪中留下預測數據。
我個人認為，就人類水準機器智慧誕生之日而言，專家調查中的中間數並沒有足夠的機率質量（在增加「在人類科學活動未經重大負面崩壞而能持續」的條件後）。人類水準機器智慧在2075年，甚至2100年，都還沒開發出來的機率有10%，這似乎太低了。
綜觀歷史，在預測自身領域進展速度，以及該領域將如何進展這兩件事上，人工智慧研究者並沒有什麼好成績。一方面事實最終證明，下棋這類的活動只需意外簡單的程式就能達成；而聲稱機器「永遠」不能做這做那的反對派，也是一錯再錯。另一方面，專業人士更常犯的錯誤，在於低估一個系統在真實世界穩定工作有多困難，又常高估他們自己偏好的計劃和技術所占的優勢。
這些調查（至少可以暫代更好的數據或分析）主張，我們也許可以合理相信，人類水準機器智慧有相當大的機會在本世紀中發展出來，遲早會發展出來的機會也不小，並可能馬上促成超智慧的誕生。各種結果都有不小的可能會發生，包括了極好的結果，或是糟糕到讓人類滅絕。最起碼，代表這個主題值得進一步深究。
＊作者為牛津大學哲學系教授，其學術背景包含理論物理學、計算神經科學、數學邏輯、人工智慧以及哲學。他在全球五十歲以下的哲學家中被引用次數最多，擁有廣泛的影響力。伯斯特隆姆同時是牛津馬丁學院人類未來研究所（Future of Humanity Institute）的創立者和所長。本文選自作者著作《超智慧：AI風險的最佳解答》（感電出版）
