# 斯圖爾特·羅素：人工智慧的長期未來 > AI 安全研究者討論如何讓機器目標與人類價值對齊，以及長期風險的應對路徑。 - 原標題：Stuart Russell: Long-Term Future of AI - 期數：特別節目 - 釋出日期：2018-12-09 - 嘉賓 / 主題：斯圖爾特·羅素 - 網頁版：https://lex.qiaomu.ai/tw/ep/stuart-russell/ - 官方頁面：https://lexfridman.com/stuart-russell/ - 精讀字數：約 12819 字（閱讀約 28 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 2018年，一臺自動駕駛汽車的視覺系統能識別出路上 98.3% 的車輛。這個數字聽起來還行。但一個開十年計程車的司機，每天開八小時，總共是 1 億秒的駕駛時間，其中任何一秒都可能致命。這意味著系統需要八個九的可靠性，而 98.3% 只是一個多九。 中間差著七個數量級。 斯圖爾特·羅素（Stuart Russell）在訪談裡說，人們以為做完一個成功的 demo 就差不多了，其實你連"差不多"的邊都還沒摸到。這位加州大學伯克利分校的電腦科學教授，是《人工智慧：一種現代方法》的合著者，那本書把我和幾千萬人領進了這個領域。他講這段話時語氣很平，像是在陳述一個工程事實，而它帶來的衝擊來自算術本身。 ## 用一箱打孔卡片換三秒鐘 1975年，英國帝國理工學院。還在讀中學的羅素每週三坐公交車過去，帶著一大盒打孔卡片塞進讀卡機。機器給他們八秒鐘 CPU 時間，讀卡片和編譯程式碼要花掉五秒，剩下的三秒，夠他的國際象棋程式走一步。 搜尋八層深度，帶 alpha-beta 剪枝，還有他們自己琢磨出來的走法排序和樹剪枝技巧。然後程式列印出這一步，他們回到隊尾，重新排隊等下一次喂卡片。 這個程式從來沒贏過他。他年輕時候棋下得不錯。後來他又寫了黑白棋和雙陸棋的程式，去了伯克利之後開始大量研究"對推理的推理"（metareasoning）。棋盤上可能的變化比宇宙裡的原子還多，人和程式能贏，靠的都是隻看搜尋樹的一小部分。看對了那一小部分，你下得很好；把時間浪費在想那些永遠不會發生的走法上，你必輸，因為你根本來不及算出正確的決定。 機器到底該想什麼？ 他的答案是：**想那些能提升決策質量的念頭，別的都不值錢。** 他給了一個特別日常的類比。如果你已經確定某部電影很爛，就沒必要再花更多時間說服自己它很爛，因為你的判斷不會改變。思考的價值來自它可能改變你的主意，進而改變你在真實世界裡的最終行動。 設想兩個選擇：一個你已經算清楚是和棋，另一個平均看來更差、很可能輸，但它的價值還存在不確定性，還有機會翻成贏。後一個值得想。所以一個想法值不值得想，取決於兩件事的乘積：**它看起來有多好，以及你對它有多不確定。** 不確定越大，越值得想，因為上行空間可能更大。 Alpha Zero 開局的時候，一切都籠罩在不確定性裡。所以搜尋樹的前幾層非常茂密，它會試很多方向。但很快，某個走法會立刻顯示出你丟了半壁江山，你說好，這條不用再想了。往下樹就變得又長又窄，順著幾條線路一直往下走四五十步。這種事人類做不了，主要卡在短期記憶上：你記不住五十步的序列，也沒法在腦子裡正確想象五十步之後的棋盤。 ## AlphaGo 最驚人的地方不在贏 它有兩套能力。一套是評估局面，看棋盤就能瞬間判斷形勢有多好。另一套是往前看，四十步、五十步、六十步。 羅素覺得真正驚人的是前者。把搜尋完全關掉，不允許它做任何前瞻，只讓它考慮每一個合法走法，看看走完之後的局面，判斷好壞，這就是深度為一的搜尋。這個版本的 AlphaGo 還能達到職業水平。人類職業棋手坐在那兒想五到十分鐘，它不到一秒就"直覺"出正確答案。 圍棋上人類沒有這種直覺。我們必須想。 至於那四十、五十、六十步：如果全部考慮，是 10 的 200 次方種可能，遠遠超過宇宙中的原子數。所以它對看什麼極其挑剔。 他也順便給人類棋手降了降溫。大師能可靠地瞬間認出正確走法和局面價值，這個說法被略微高估了。鮑比·菲舍爾那些棄後的名局，看起來像是下了壞棋。 棋手面對這種局面，腦子裡先浮出來的往往是一種感覺：這裡頭可能有東西。至於具體算路，還沒成形。哪怕這一步看起來荒唐，它也可能開啟幾條本來不存在的計算線路。有了這個念頭，他才往下算。 一旦進入強制性的變著，對手沒什麼選擇，他就可以一直模擬下去，看能不能把對方逼進一個輸定的局面。但即便大師對局，也常常漏掉三四五步的簡單組合，那些組合並不特別顯眼，可它就在那兒。 ## 第二天坐下來，你會覺得它變聰明瞭 黑白棋那件事帶來的感受更直接。羅素說，程式的一部分能力來自學習，你第二天坐下來，能明顯感覺到它變聰明瞭很多。它變得更兇，對你的任何細微失誤都不留情面，而且似乎比他更懂這個遊戲。 加里·卡斯帕羅夫（Garry Kasparov）在對深藍的比賽裡說過一句話：他突然覺得棋盤對面是一種新的智慧。 > 我突然感到棋盤對面是一種新的智慧。（加里·卡斯帕羅夫） 這種感覺是可怕還是令人興奮？在棋類這個語境裡，羅素的回答是興奮。他說，當初讓他去做AI的原因就這麼簡單：一旦他真正搞懂了計算機是什麼，他就想讓這東西變聰明。他的第一臺機器是辛克萊可程式設計計算器（Sinclair Programmable Calculator），最多能寫二十一步的演算法，他實現了牛頓法求平方根，還做了點別的算術。 然後他想，只要給我更多空間，我就能讓這東西有智慧。 可怕的東西不在棋類程式那裡。棋類程式不做接管世界這門生意。但如果你往外推，棋類跟真實世界有幾處關鍵的不像。 規則是已知的。棋盤對程式完全可見，而真實世界的大部分，從你坐著的那個位置根本看不見。要跨過這類問題，需要性質上完全不同的演算法。 還有時間尺度。真實世界的計劃會延伸到萬億級的步驟。你在伯克利讀個博士，那是五年的承諾，最終摺合成大約一萬億次動作控制步驟，包括上樓梯、開門、喝水、打字時每一次手指動作、論文裡每一個字元。你不會事先承諾那些具體的動作，但你確實在一個最終會落到萬億次動作上的時間尺度上做推理。 所以深藍、AlphaGo 之流不構成對人類的威脅，但它們是通往威脅的一步。羅素把AI的進展描述成一個接一個地拆掉那些讓問題變簡單的假設。拆掉完全可觀測性這一條，你就需要一套複雜得多的計算設計，需要有個東西持續跟蹤你看不見的部分、估計正在發生什麼，而不確定性是躲不掉的。問題就此變得難得多。 而每一步拆解，都會把AI能做的事情的範圍放大一千倍。 ## 真實世界更像圍棋，不像國際象棋 當年他們以為，圍棋必須走另一條路。人類處理圍棋複雜度的辦法是把棋盤切成若干弱連線的區域，分別看每塊怎麼走，再把兩塊分析耦合起來處理相互作用，必要時回頭修正對某一塊的判斷。棋盤上可能有五六塊、七八塊、十塊。 這套結構其實比國際象棋更像真實世界。人有工作、家庭、運動、購物，各種活動彼此相連但連線很弱。寫論文的時候，他不必同時決定先買牛奶還是先買黃油，那不影響打字。但他得意識到要在商店關門前寫完，因為家裡沒吃的了。有連線，只是不像國際象棋那樣，一切都綁進一條單一的思維流。 當時的判斷是：解決圍棋，會順帶推動那些對真實世界有用的東西。結果有點令人失望。為圍棋設計的程式，跟深藍、跟亞瑟·塞繆爾（Arthur Samuel）1950年代的跳棋程式，差別並沒有那麼大。 讓AlphaGo成立的是兩件事：一邊是驚人的局面評估能力，另一邊是更好的推理能力，讓它能把某些路徑探到很深，把另一些快速丟掉。metareasoning 這個詞技術上沒錯，但它容易讓人高估 AlphaGo 擁有的那點東西。"推理"是個很有分量的詞。 ## 專家系統那場崩塌，留下一句話 關於符號AI的冬天，羅素說事情沒那麼簡單。第一次被這樣命名的冬天在八十年代末。八十年代中期有一場集體努力，要把AI推進真實世界，用的是專家系統。大部分情況下，那技術還沒到能上黃金時段的地步。很多系統在做一種不確定推理：判斷、證據組合、診斷。而這些推理方法本身是無效的。問題小的時候你還能糊弄過去，規模一大就整個崩掉。 還有很實際的一條。他們讓公司買極其昂貴的Lisp機器工作站，1980年代五萬到十萬美元一臺，按現在的價格是十五萬到三十萬美元。賬算不過來。每個大公司都在成立AI部門，跟現在一模一樣。 他今天的演講裡有張警告幻燈片，兩頁。第一頁上寫： > 與其說資料是新時代的石油，不如說資料是新時代的蛇油。（斯圖爾特·羅素） 第二頁是另一種可能性：某個主要應用領域會出現一次非常顯眼的失敗，他認為自動駕駛會是旗艦。 1987年就有車在高速上自動駕駛、變道、超車了。三十多年過去，原型車還在高速上變道、超車，大體還是那個樣子。 進步確實有，感知側尤其明顯。九十年代中前期他們在伯克利做自動駕駛，把國會議員塞進車裡，在高速上飛馳。當時瓶頸清楚得很：感知。模擬裡給了完美感知，即使別的車亂來，也能安全開很久。可他們在機器視覺上做車輛檢測、行人跟蹤，可靠性怎麼也提不上去，惡劣天氣、夜間、降雨，做演示夠了，覆蓋一般情況不夠。 然後是那道算術。計程車司機一天八小時開十年，一億秒，任何一秒都可能致命，這是八個九的可靠性。視覺系統只檢出 98.3% 的車輛，那是一個多九。中間還有七個數量級。人們以為做完一個成功演示就差不多了，其實離做完還差七個數量級。 跟住一條白線不是問題，白線能橫穿全國一路跟下去。麻煩在怪事，在邊角案例，在別的司機幹出奇怪的事。 Google 早期那套架構很古典：機器視覺檢測車輛、行人、白線、路標，結果喂進一個邏輯資料庫，再由一套1970年代的規則專家系統判斷該怎麼辦。比如你在中間車道，右車道有個騎車人在打手勢，那你就這麼做。他們發現的問題是，每天出去都會碰到一條規則沒覆蓋的情況。開到環島，一個小女孩騎著腳踏車逆時針繞行。怎麼辦？規則庫裡沒有。那就停。 他們回來加規則，第二天再出去，又是一條新的。這樣下去不收斂。 根本問題是，你怎麼處理一個從來沒遇到過的情形？這裡的"沒遇到過"是指，你需要的推理方式跟以前任何一次都不匹配。國際象棋程式天天干這個：不斷遇到沒見過的局面，然後想我有哪些可能的走法、結果分別是什麼、哪個結果更可取，挑一個。 九十年代他們就說，自動駕駛必須走這條路，必須有前瞻能力。但駕駛的前瞻比象棋難，因為對面的東西是人，比棋子難預測得多。棋盤上的對手也不好猜，可你至少永遠知道他的意圖：他想贏你。開車的時候你不知道，前車那位是想左轉，還是忘了關轉向燈，還是喝多了，還是在調電臺。你得估計對方的心智狀態和意圖，才能預測他接下來可能的軌跡，然後判斷哪條軌跡對你最安全。 這些又互相影響，因為對方也在對你的軌跡做出反應。經典的併線場景：你在和一輛已在高速上的車搶位置，你要麼搶在前面進去，要麼讓它先過、你跟在後頭。誰先走，存在不確定。 所以需要的決策架構，離規則系統很遠，在他看來也離端到端的神經網路很遠。AlphaGo 不做前瞻的時候相當不錯，做前瞻的時候好得多得多。駕駛也一樣。 他提到另一個層面：**你不能把AI系統當成一個單向響應世界的東西，它是一個別人也會對它做出反應的智慧體。** 想開好車，不能只做避障。你不能假裝自己隱形，那輛隱形車。但反過來，別人也得有點怕你。他們和行人打了很多交道，如果你把行人純粹當成避障物件，對方就會佔你便宜，完全不把你當回事。必須有一種張力，一點不確定性，一點堅決。你太猶豫也不行。 於是問題滑進博弈論。伯克利現在大量研究機器和人的互動。他的同事阿納卡·德拉甘（Anca Dragan）把問題按博弈論形式化，讓系統自己求解，結果系統幹出了一些沒人預料的事：在無人先行的停車標誌前，車會稍稍往後倒一點，用這個動作告訴對方車你先走。這個行為是它自己發明的。沒有人告訴它停車標誌前的溝通語言是什麼。 ## 1979年那句話：我始於一個古老的願望，鍛造諸神 帕梅拉·麥科達克（Pamela McCorduck）1979年寫下的這句話，被羅素拿來當作一個哲學支點。人類文明的歷史裡，是不是有一種內在的衝動，要造出比自己更強的東西？ 他提到另一段歷史。七十年代英國圍繞AI吵得很厲害，政府該投多少錢、這東西是不是真的。政府委託物理學家萊特希爾（Lighthill）寫報告，報告寫得非常刻薄，羅素認為刻薄就是目的。報告裡說，這些人是一些沒法生育的苦悶男人，想造出一個生命來作為替代。 羅素覺得這話挺不公平。但那種魔法感確實存在。你造一個東西，你造進去的其實只是你對學習和決策原理的某些理解，然後看著這些原理在具體情境裡變成智慧行為，這是件不可思議的事。它自然會讓你想：這事走到頭會是什麼樣？ 樂觀的版本因人而異，每個人心裡的烏托邦都不一樣。 ## 圖靈在1951年就算過這筆賬 羅素說，不需要天才也能想到，如果你造出一個比你還聰明的東西，你可能有麻煩。圖靈1951年在電臺做了一次講座，大意是：一旦機器思維的方法啟動，它們會很快超過人類。如果我們運氣好，也許能在關鍵時刻把電源關掉。但即便如此，人類這個物種也會被比下去。 羅素認為圖靈有一點說錯了。如果機器足夠精細，它不會讓你把它關掉，它實際上是在跟你競爭。 "我們的物種會被比下去"是什麼意思？他的理解是：我們會意識到自己更低等，我們只是靠運氣活下來，恰好及時摸到了那個開關。要是沒摸到，我們就失去了對地球的控制。 那他更擔心超級智慧，還是更擔心不與人類價值對齊的超級能力？答案是後者。**他研究的主要問題是控制問題，機器追求的目標跟人類目標不一致的問題。** 從最開始我們就是這麼想的：造一臺最佳化的機器，把目標塞進去，它就去最佳化。 這就是邁達斯國王（King Midas）問題。國王要"我碰過的一切都變成金子"，神給了他這個能力，於是食物、酒、家人都變成了金子，他死於痛苦和飢餓。 幾乎每個文化裡都有同構的故事。精靈給你三個願望，你的第三個願望永遠是請把前兩個撤掉，因為我搞砸了。 亞瑟·塞繆爾寫跳棋程式，那程式學得比他下得好，達到了相當不錯的水平。諾伯特·維納（Norbert Wiener），二十世紀最重要的數學家之一，現代自動控制之父，看到了這一步，像圖靈一樣往外推：這就是我們可能失去控制的路徑。具體來說，**我們必須確定塞進機器的目的是我們真正想要的目的，而問題在於我們做不到。** 做不到是理論上不可能，還是實踐上極難？羅素的界線劃在兩者之間。理論上可能，實踐上極不可能，我們幾乎不可能事先正確寫出人類關切的全部範圍。 人類是怎麼傳遞價值的？靠文化傳遞，靠教。我們長大的過程中學到哪些價值重要、事情應該怎樣、追求什麼算合理、追求什麼不合理。機器可以用同樣的方式學。 所以要擺脫的是那個想法本身：造一臺最佳化機器，然後把目標放進去。既然放錯目標是可能的，而且已經發生過很多次，那麼**機器就永遠不應該把給定的目標當成福音真理**。一旦它這麼做了，它就會相信，它為達成這個目標所做的任何行動都是正確的事。你在旁邊跳著腳喊不不不你會毀掉世界，但機器知道真正的目標是什麼，它在追求它，你只能自認倒黴。 這不是AI獨有的問題。二十世紀很多技術都這麼幹的。統計學裡最小化一個損失函式，損失函式是外生給定的；控制論裡最小化代價函式；運籌學裡最大化回報函式。所有這些學科都是這樣設想問題的，而這個設想本身就是錯的，因為我們無法確定地指定正確的目標。 我們需要不確定性。**我們需要機器對自己的目標是什麼保持不確定。** 羅素把這叫做教機器謙遜。機器知道它不知道自己該做什麼。而那些目標確實存在，它們在我們身上，只是我們未必能把它講清楚，我們甚至未必知道我們希望自己的未來是什麼樣。 一臺不確定的機器會對我們恭順。你說別那麼做，它就學到了一點關於我們真實目標的新資訊：某件它以為是在推進我們目標的事，原來不是。於是它退讓，因為它想做的正是我們真正想要的。 這一點在他看來是解決控制問題的核心。而一旦拿掉"目標已知"這個前提，我們熟悉的一大堆理論框架就都不適用了：馬爾可夫決策過程、基於目標的規劃、標準博弈搜尋。問題變得更復雜，因為**與人的互動本身變成了問題的一部分**。人做出選擇，就是在給你關於真實目標的資訊，這些資訊幫你更好地達成目標。所以你面對的基本上是博弈論問題：機器和人耦合在一起，而不是一臺機器帶著固定目標獨自跑掉。 ## 二十世紀最慘的災難，都來自對目標的確定 訪談在這裡拐了一個彎。羅素說，生命也許本來沒有意義，意義是我們共同商定、在文化中創造出來的。目標要學。而人類文明裡最大的麻煩，往往出現在目標被確定性鎖死的時候：你認定這個目標是唯一正確的，然後不惜一切代價去實現它。二十世紀的德國、蘇俄，都是這個模式的產物。 羅素順著這個思路說了一句會惹麻煩的話。有些人認為我們不必等到AI接管世界，它們已經接管了，那些東西叫公司。公司把人也當成零部件在用，它們本質上是演算法機器，最佳化的目標是季度利潤，這個目標跟人類整體的福祉並不對齊。它們正在摧毀世界，在氣候變化問題上，它們要負主要責任。 政府同理。政府本該是一臺服務人民的機器，結果常常被一群有自己目標的人接管，用政府去最佳化他們自己的目標，不管人民要什麼。 那"爭論機器"行不行？讓多個系統各自鎖定目標互相辯駁，像政治的紅藍兩隊。羅素說，辯論和分歧的前提，是承認你可能錯。如果你絕對確信自己的目標正確，討論就沒有意義，你不會改變主意，也不會有任何綜合。**論證本身就是一種不確定推理的實現形式。** 他最近在讀功利主義的歷史，讀兩百年來人們試圖用清晰的數學方式定義道德或政治決策的公式。他說這段歷史和今天關於存在風險的討論幾乎一模一樣。 功利主義的粗略版本是：每個人有個效用函式，決策要最大化所有人效用之和。反對意見立刻出現：按這個演算法，最優政策是讓一個人口極其龐大、每個人都過著勉強值得一活的生活的世界出現。這叫"令人反感的結論"（repugnant conclusion）。另一個版本說我們該最大化快樂，於是有人回敬：那不如讓所有人接上海洛因點滴。這話在十九世紀就有人說過了。 跟AI的關係是：如果公式寫錯了，我們會得到一批朝著在事後看來完全錯誤的結果努力的AI系統。 那為什麼AI版本更讓人緊張？因為速度。政治理念錯了，我們看得見它開始出問題，我們也沒那麼蠢，會說這個可能是錯的，換一個試試。而且我們實施起來又慢又低效。真正要擔心的是效率極高的公司和政治系統。 計算機有另一個特性。一個外科醫生如果對某個手術的想法是錯的，做三四臺就會發現問題。製藥公司不行，它們不做三四臺手術，它們生產三四十億片藥，賣出去，然後半年或一年後發現人們在死於心臟病或得了癌症。所以才有FDA，因為藥品生產是可擴充套件的。製藥史上有些糟糕到難以想象的事件，摻假產品殺死過幾萬人，讓幾十萬人癱瘓。 計算機有同樣的可擴充套件性問題。你可以寫一個從一到五十億的迴圈，瞬間產生全球規模的影響。而我們沒有對應的FDA。完全沒有任何管制，去約束一群咖啡因攝入過多的本科生能對世界做什麼。 看Facebook，或者說整個社交媒體和點選率最佳化。一個簡單的反饋演算法，只最佳化點選。聽起來合理，你不想給人推他們不關心的廣告。你甚至可能認為這個過程只是在調整廣告或新聞的推送，去匹配人們的偏好，聽起來是個好主意。 但演算法不是這麼工作的。演算法多賺錢的方式，是更好地預測人們會點什麼，然後精確地餵給他們。而最大化點選率的方法是**改造人，讓人變得更可預測**。其中一個辦法是餵給他們會改變其行為和偏好的資訊，把他們推向極端，推向最近的那個可預測點。機器會把你逼到那裡。羅素認為有理由說，這正在參與摧毀世界各地的民主。 這個過程裡監督在哪？誰問過：你想把這個演算法應用到地球上的五十億人身上，能不能向我證明它是安全的、不會產生各種負面效果？沒有人在問。沒有一個人站在那群咖啡因過多的本科生和人類之間。 經濟學家會說，資本主義有看不見的手，那就是監督。你如果用什麼決策腐蝕了社會，人們就不用你的產品了。這是一種監督模型。羅素說，那就看著吧。但與此同時，你可能已經把讓資本主義運轉的政治系統弄壞了。 ## 沒有理由允許機器假裝是人 那能不能建立監管機構？他說可以，但要想清楚管什麼，這需要時間。FDA那套分期臨床試驗的體制，第一階段做什麼、第二階段做什麼、透過標準是什麼，設計出來花了很久，到今天還有人想改。而演算法對應的那些標準和分期，我們連想都沒開始想。 有些事現在就能做。偏見。技術上我們已經有比較好的手段去檢測演算法在傳播資料集裡已有的偏見，去消除它，甚至能算出這麼做要花多少成本。這類事情可以先有標準。還有冒充和偽造。 冒充就是機器假裝自己是人。羅素說他看不到任何正當理由，去反對強制機器自我標識為機器。讓人誤以為對面是個人，社會收益在哪？用像人的聲音方便理解，這沒問題，但你得在某個環節說我是機器。 加州有條法律禁止冒充，但只限定在特定情形：從事欺詐交易，以及影響他人投票行為。他認為按理說應該覆蓋所有情形。 至於深度偽造，我們才剛開始。現在已經能造出任何人說任何話的影片，很難識別，包括他自己，因為他正在鏡頭前，聲音是高解析度傳出去的。把他說的話換成任何別人想讓他說的話都行，連嘴唇和面部表情都能跟著改。商業領域還有商標法可用，政治領域目前是隨便來。這會非常有害。 ## 盧瑟福說這是"十足的胡扯"，第二天早上齊拉特讀到了 然後羅素講了一段核武器的歷史，用來說明監管為什麼總是來得晚。 二十世紀初人們就知道原子內蘊含巨大能量，知道不同原子及其組分之間的質量差，也知道也許能造出威力空前的炸藥。H.G.威爾斯（H.G. Wells）1912年寫了一本這樣的科幻小說。發現同位素的弗雷德裡克·索迪（Frederick Soddy），諾貝爾獎得主，1915年演講說這種新炸藥一磅相當於一百五十噸黃色炸藥，這個數字後來證明大致準確。那是一戰期間，他在想象如果交戰雙方用上這種東西，戰爭會慘烈多少。而物理學界拒絕相信這是可能的。 羅素說，部分原因是他們不希望它是真的。他們的看法是它不可能為真，這不可能提供造出超級武器的途徑。1933年9月11日，核物理的領袖盧瑟福（Rutherford）演講說，任何談論從原子轉變中獲取能量的人都是在講十足的胡扯（moonshine）。第二天早上，利奧·齊拉特（Leo Szilard）讀到這篇演講的報道，然後發明了核鏈式反應。 齊拉特想到可以用中子：中子不被原子核排斥，能進入核內，然後讓反應繼續。這個念頭一出現，他立刻明白世界要有大麻煩了。那是1933年，希特勒剛在德國上臺。齊拉特當時在倫敦，後來成了難民去了美國。在產生鏈式反應這個想法的過程中，他基本想清楚了怎麼造炸彈，也怎麼造反應堆。1934年他為反應堆申請了專利。但鑑於他能看到的大國衝突局勢，他把這件事保密了。 從那時到二戰開始，包括德國人在內，人們都在研究怎麼造出中子源、哪些具體的裂變反應能產生能量合適的中子來維持反應。1938年德國做出了演示。第一份核武器專利是1939年法國人申請的。這一切在二戰真正開打之前很久就在進行了。英國大概有最先進的能力，但出於安全等考慮，加上資源問題，他們把專案從英國搬到了美國，後來就成了曼哈頓計劃。 所以核技術為什麼沒能及時得到監督？因為那時我們基本上已經身處軍備競賽和戰爭之中了。 ## 如果你成功了會怎樣 為什麼今天大部分AI研究者不擔心？羅素用了心理學裡的一個詞：動機性認知（motivated cognition），你相信你希望是真的東西，而不是真的東西。想到自己手上的工作可能是人類的終結，這讓人不安，所以你寧可立刻否認，再找個理由說明它不可能為真。 他收集了一張很長的清單，都是極其聰明、極有能力的科學家提出的"不必擔心"的理由。 比如：計算器在算術上遠超人類，它們也沒接管世界，所以沒什麼好擔心的。羅素說，他五歲的孩子都能看出這個論證有多弱。 再比如：超人類AI毀滅世界在理論上是可能的，但一個黑洞在地球旁邊憑空出現、毀滅人類，理論上也可能。量子理論上它出現的機率極低。羅素說這個類比完全站不住腳：如果地球上整個物理學界都在致力於讓一個黑洞出現在近地軌道，**你難道不會問他們一句，這是個好主意嗎？這安全嗎？萬一你們成功了呢？** 問題就在這兒。AI界拒絕問自己"如果你成功了會怎樣"。最初不問是因為太難。但圖靈問過自己，他的回答是我們完蛋，運氣好也許能關掉電源，但大機率完蛋。 另一層原因是，我們並不確定未來是什麼樣，所以也不太清楚技術上到底該擔心什麼、事情會怎麼壞。這就帶出一種麻痺感：你在擔心一件邏輯上似乎不可避免、但你完全不知道它長什麼樣的事。 羅素承認這個說法有道理。存在風險和隕石撞地球不一樣。隕石撞地球在過去發生過，將來大概還會發生，而且如果我們真探測到一顆七十五年後會撞上來的小行星，我們肯定會做點什麼。而AI這件事，很多人認為它不會發生，羅德尼·布魯克斯（Rod Brooks）不這麼認為，安德魯·吳（Andrew Ng）大概也不這麼認為。但天天在一線敲石頭的人裡，很多人認為它會來。AI研究者的估計中位數是四十到五十年後，亞洲那邊認為更快。 他本人保守一些，覺得可能要更久。但核武器是一夜之間做成的。這種事可能一夜之間發生。他說不需要一次突破，粗略地數，大概需要半打這樣的突破，才能到達超人類AI。而AI研究共同體現在規模龐大，政府和企業投入巨大，聰明人極多，你只要看看各個子領域的進展速度就知道事情走得相當快。說這要幾千年，他看不到任何依據。 他順手點了斯坦福"AI一百年研究"專案。那是建制派的嚴肅聲音，最新報告居然說這大概一段時間內根本不可能。**如果你想要一個人們集體否認的完美例子，這就是。** AI的整個歷史裡我們一直在對哲學家說，你根本不知道你在講什麼，它當然可能，給我一個它不可能的理由。而現在，人們因為擔心這事會被搞臭名聲，反過來自己說它不可能。 他說這就像癌症生物學界的領袖們站出來說，治癒癌症當然不是真的可能。這太奇怪了。 ## 大猩猩沒能解決的控制問題 如果接受它可能、而且大概會發生，那它怎麼壞？沒有答案的話，你就卡在他所說的"大猩猩問題"裡。 幾百萬年前，大猩猩造出了比它們更聰明的東西，也就是我們。現在它們處境非常糟，而且它們什麼也做不了，它們已經失去了控制，它們沒能解決控制人類的控制問題。 我們不希望處在那個位置。而如果大猩猩問題是你唯一的表述方式，你能做的事就不多，只能說不該造人類，在這裡就是不該造AI。羅素說，他不認為這是一條可行的路線，而且如果控制得當，AI能帶來極大的好處。 所以在他看來，主要失敗模式之一已經形成共識：失控。我們造出的AI系統在追求錯誤的目標，而因為系統相信自己知道目標是什麼，它就再也沒有動機聽我們的了。它在執行一個它算出來的最優策略。為了成功，它可能需要獲取更多資源；為了防範各種失敗模式，它可能需要自我防禦、對抗干擾。這一組問題，他認為是可以著手處理的。 第二個問題是誤用。就算我們解決了控制問題，做出了完全安全可控的AI系統，惡人為什麼要用它？他要接管世界，他會做出不安全的AI系統，然後那東西失控。這個問題一半是治安問題，一半是行業文化問題：我們怎麼教人分辨什麼樣的系統是安全的。 他提到自主武器系統，幾乎所有人都同意這裡有太多可能出大錯的地方，那部叫《屠殺機器人》（Slaughter Bots）的短片把這件事講得很清楚。 還有第三個失敗模式，他特別提出來：**過度使用。** 我們變得過度依賴。他管這叫"瓦力問題"（Wall-E）。電影里人類坐在飛船上，機器替他們打理一切，他們只看電視、喝大杯飲料，全都肥胖、遲鈍，徹底丟掉了人類自主性的概念。 這是溫水煮青蛙。我們會一步步把文明的更多管理權交給機器，現在已經在這麼做了。如果這個過程繼續，我們就會從技術的主人變成客人。當一週遊輪上的客人沒問題，當一輩子不行，而且這幾乎不可逆。一旦你失去了去學做工程師、醫生、清潔工的動力，也就失去了維持和傳遞文明的無數種方式中的任何一種的動力，你就不會去做了，再想恢復極其困難。 他說其他技術也有類似效果，但區別在這裡：**在執行文明所需的知識這件事上，我們過去別無選擇，只能把它放進人的腦子裡。** 我們一直把知識寫在紙上，但紙不會執行文明。只有當知識從紙上再進入人的頭腦，它才起作用。我們靠人心來傳遞文明，為此花了大約一萬億人年。地球上活過的人剛過一千億，每個人花大約十年學東西來維持文明運轉，算下來就是一萬億人年。 現在我們有把這一萬億人年扔掉的風險。 而這個問題他解決不了，它不是技術問題。如果我們做對了，AI系統會說：人類長遠來看不想當遊輪上的乘客，人類要自主，這是人類偏好的一部分，所以我們不會替你把這事做了，你得自己去做。我不會用自動駕駛直升機把你送到珠峰頂，你想拿到那份收穫，就得自己爬。 但他擔心，因為短視和懶惰，我們會去覆蓋系統的判斷。他推薦所有人讀一個短篇，E.M.福斯特（E.M. Forster）1909年寫的《大機器停轉》（The Machine Stops）。福斯特是寫大英帝國題材、後來被BBC拍成古裝劇的那位小說家，只寫了這一篇科幻。裡面有類似iPad的東西，有視訊會議，有按需點播，有因使用計算機導致的肥胖。人們的全部生活就是講網課、聽網課、談論想法，從不真正走進真實世界，幾乎沒有面對面接觸。我們今天擔心的東西，那篇小說全都寫到了。然後人類越來越依賴機器，失去了事物如何運轉的知識，變得極易崩潰。 1909年能想到這些，羅素覺得難以置信。 ## 他每天都在跟自己吵架 訪談者問他會不會感到負擔：在電腦科學圈外，人們說"斯圖爾特·羅素都擔心安全，你也該擔心"，這種位置沉不沉。 實際層面的負擔是真的。他一天能收到十幾封、有時二十五封邀請，請他去講這個、接受採訪、寫評論文章。這本身就說明人們確實關心、確實有興趣。 那他擔心自己可能錯嗎？ 他說當然，一直在擔心，他一直就是這麼工作的。腦子裡跟自己吵架：冒出一個想法，然後想，這怎麼會錯？是不是別人早就想到了？於是去翻儘可能多的文獻，看有沒有人想過、甚至駁倒過。 他現在讀很多哲學，因為在功利主義和其他道德公式的爭論裡，人們已經把一些問題想透了。但他沒在這些爭論裡看到那個具體的想法：**目標中的不確定性至關重要，這才是我們思考"對人類有益的機器"的方式。** 他稱之為可證明有益的機器（provably beneficial machines），建立在目標明確的不確定性之上。他的直覺是這就是核心，需要往很多方向展開。 而它必須是可證明的。不能靠手揮一揮說"有益的"。凡是我們揮手糊弄的地方，都有漏洞，而超智慧機器會找到漏洞。就像逃稅的人，如果你的稅法寫得不嚴謹，人們就會找到漏洞，最後一分稅都不交。 把這些定義弄對是一個漫長的過程。你可以定義數學框架，在框架內證明定理：這個理論實體對那個理論實體可證明有益。但這個框架可能在某個關鍵之處並不對應真實世界。得反覆推敲、迭代。 最後一個問題，十秒鐘：最喜歡的關於AI的科幻電影？ 《星際穿越》（Interstellar）裡有他最喜歡的機器人，塔斯（TARS）。那也是機器人該有的行為方式。至於讓人對未來產生某種緊張感的，是《機械姬》（Ex Machina）。 羅素在整場訪談裡沒有渲染任何一幕。他講核物理學家如何拒絕相信自己的計算，講一群咖啡因過多的本科生如何改寫了五十億人的資訊環境，講大猩猩如何在幾百萬年前造出了我們。這些話的力量來自它們的平常：他不是在預言災難，他是在指出一個已經重複過很多次的模式，然後說，這次的規模不同。 至於普通人能做什麼，他給出的方向其實很具體。 - 遇到任何"AI不可能有那種能力"的論斷，先追問一句理由是什麼。羅素收集的那張清單裡，絕大多數理由的強度不超過"計算器也沒接管世界"。判斷一個論證，看它能不能過你自己那一關，不看說話人的頭銜。 - 把"如果成功了會怎樣"當成一個標準問題。不管是自己做的專案，還是公司要上線的演算法，先問成功之後的形態，再問失敗的機率。AI界迴避這個問題迴避了七十年。 - 對任何直接最佳化人的指標保持警覺。點選率、停留時長、轉化率，這些指標的最佳化路徑裡，有一條是把人改造成更可預測的樣子。看到這類系統，先問它最佳化的是什麼，以及它有沒有可能透過改變你來達成目標。 - 支援"機器必須自我標識為機器"這類看起來太簡單、所以沒人推動的規則。真正能落地的監管，往往從這種低爭議的條款開始，而不從定義通用智慧開始。 - 在涉及重大讓渡的決定上，保留自己動手的能力。讓AI替你寫程式碼可以，別讓"知道怎麼執行這套東西"從人類頭腦裡消失。文明靠一萬億人年的人腦傳遞維持，這份賬本一旦關掉，很難重新開啟。