# 格雷格·布羅克曼：OpenAI 與通用人工智慧 > OpenAI 聯合創始人談通用人工智慧的研發路線、規模化訓練與安全治理議題。 - 原標題：Greg Brockman: OpenAI and AGI - 期數：特別節目 - 釋出日期：2019-04-03 - 嘉賓 / 主題：格雷格·布羅克曼 - 網頁版：https://lex.qiaomu.ai/tw/ep/greg-brockman/ - 官方頁面：https://lexfridman.com/greg-brockman/ - 精讀字數：約 12137 字（閱讀約 27 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 格雷格·布羅克曼高中時寫完了整本化學教科書，從原子的基本結構一直寫到量子力學。一個朋友跟他說，你不是博士，這本書不可能出版。於是他轉去建網站推廣自己的想法，然後撞上了程式設計。 數學、化學、程式設計，在他看來是同一件事的三個版本。你思考一個問題，把結論寫成人類可以共享的形式，存進知識的圖書館，然後別人可以拿去用。區別在槓桿：一篇數學證明可能只有領域裡的五個人會讀，一段程式卻能被地球上任何一個人拿去跑，而且規模可以無限放大。 這是布羅克曼對數字世界最核心的迷戀。一個人，一個想法，影響整個星球。這件事在物理世界裡幾乎做不到，在程式碼裡是日常。 ## 公司是一個有自己意志的東西 順著這個邏輯往下推，他不太願意把人當成某種特殊存在。人是一套資訊處理系統，這個描述聽起來冷，但能解釋的東西很多。 網際網路的意義不在那些物理光纜。它的意義在於，一個人突然可以即時聯絡到地球上的任何另一個人，可以檢索到人類積累過的幾乎任何一條知識。這是人類整體能力的重新佈線。 再往外推一層，社會、經濟、一家公司，都是比個體更大的東西。公司裡每個人都在想自己的事，都在認真思考該做什麼，但公司作為整體會做出一些沒有人單獨計劃過的事。它構成一個有用的抽象，也是真正在做決定的那個東西。 > 我們把自己當成地球上最聰明的生物，但有一些比我們更大的系統，是我們所有人共同喂出來的。（格雷格·布羅克曼） 他提到阿西莫夫的《基地》。書裡有個概念叫“心理史學”：當個體數量大到萬億級別，你或許能預測那個巨大宏觀體會做什麼，而且預測結果幾乎不受個體意願影響。 ## 電話同一天被兩個人發明 布羅克曼說他經常想另一件事：技術決定論。 電話是兩個人同一天發明的。愛因斯坦如果不出現，相對論也會被另一個人發現，可能晚二十年，但人類不會永遠錯過這些真理。這說明所有人都在同一批巨人的肩膀上，你能想到的東西，別人遲早也會想到。 你能改變的是時間線，不是方向。 那麼一個人到底能起什麼作用？他給出的答案很收斂：**你唯一真正的自由度，是設定一項技術誕生時的初始條件。** 網際網路就是例子。當年有不止一個團隊在做類似的東西，最後跑出來的是這一支，因為創造它的那群人真的相信“任何人都能接入”這件事，帶著很強的學術氣質，開放、互聯。接下來四十年，網際網路基本長成了那個樣子。今天這個方向可能在變，但最初那幾年的設定，決定了後面四十年的走向。 萊克斯補了一個例子：維基百科。如果維基百科當年上了廣告，今天的網際網路會是什麼樣？它大概是網際網路上最重要的公共資源，而它執行得如此之好，好到令人意外。建立者設定了初始條件，然後它自己往前跑了。 ## 如果造出了 AGI，你問它什麼問題 萊克斯把話頭引向未來：假設你真的做出了一個能透過圖靈測試、能用自然語言交流的通用智慧系統，你見到它，第一個問題是什麼？ 布羅克曼的回答沒有猶豫。 > 到了那一步，你已經造出了一個能塑造人類未來的系統，那你最該問它的，就是怎麼能讓這件事往好的方向走。（格雷格·布羅克曼） 萊克斯追問：你不去問同事，不去問伊利亞，你去問系統本身？布羅克曼說，和伊利亞、和這裡所有人的對話早就發生過了。你需要儘可能多的視角和智慧來回答這個問題，強大系統的回答是其中一個輸入，不是最終裁決。 他把這個時刻類比成核武器剛被造出來的那幾年。當時全世界最重要的問題就是：世界秩序接下來長什麼樣？人類怎麼才能作為一個物種活下來？ ## 為什麼壞訊息總是傳播得更快 萊克斯丟擲一個觀察：絕大多數可能的 AGI 發展路徑也許是正面的，但公眾討論幾乎全部集中在負面路徑上。薩姆·哈里斯如此，甚至馬斯克本人也如此。思考災難似乎比思考繁榮更有吸引力。 布羅克曼拆成兩個問題來回答。 第一個是想象力的問題。1950 年，你要向一個人描述 Uber，得先描述網際網路、GPS、每個人口袋裡都有一部手機。就算這些都講清楚了，對方也很難真的在腦子裡建立起那個世界。人類歷史上每一次顛覆性技術都證明過這一點，而 AGI 比它們全都更具顛覆性。**正面圖景難畫，原因在於它依賴太多尚未發生的中間環節。** 第二個問題更根本：破壞比建設容易。造一個東西需要每個環節都對，毀一個東西只需要一個環節出錯。物理世界是這樣，思想世界也是這樣。所以很多人的思考在看到負面劇本的那一刻就停住了，不再往下想。 布羅克曼對此保留了一點樂觀。他認為正面願景是可以被討論的，而只要把“正面也存在”這個事實說出來，很多人會有反應。他們意識到自己長期只盯著一半的圖景。 ## OpenAI 的三條腿 外界常有一個困惑：OpenAI 一邊說這東西有巨大風險，一邊拼命要把它造出來，這兩件事怎麼自洽？ 布羅克曼的答案是看結構。OpenAI 有三塊主要業務：Capabilities 做技術、推進系統能力邊界；Safety 研究技術手段，確保造出來的系統與人類價值對齊；Policy 處理治理機制，回答那個繞不過去的問題：到底是誰的價值觀。 技術安全這一塊被討論得最多，科幻電影裡的反烏托邦基本都是技術安全失守的劇本。布羅克曼說，很多人看到“人類到底想要什麼”這個問題就卡住了。我怎麼把這個寫下來？我能寫清楚自己想要什麼嗎？寫不了。然後他們就在這裡停下了。 他的反駁是：我們已經造出了能學習人類無法明確規定的系統。識別一張圖裡是貓還是狗，規則根本寫不出來，但模型能學會。既然這樣，人類偏好也可能被學習。OpenAI 技術安全團隊的核心方向就落在這裡，他說已經有一些令人鼓舞的進展。 > 人類嬰兒可能長成一個好人，也可能長成一個壞人，很大程度取決於他從資料裡學到了什麼。我們唯一擁有的通用智慧樣本，就是靠反饋和資料學會人類價值的。那我們對機器用同樣的方法，不該感到意外。（格雷格·布羅克曼） ## 技術問題解決了，接下來是誰的操作員 布羅克曼認為真正的難題在政策這一層，而且被嚴重低估了。 假設最理想的情況：技術安全全部搞定，系統完全聽話，操作員讓它做什麼它就做什麼。那麼最重要的問題立刻變成：**誰是操作員？他想要什麼？這會如何影響其他所有人？** 這個問題不需要上升到存在主義的高度就能感受到難度。你只要看看世界上不同國家、不同文化對“社會應該怎麼運轉”的理解差異有多大，就知道“什麼是好的”這件事本身沒有現成答案。 他描述的理想狀態很具體：美國、中國、俄羅斯，以及另外幾百個國家，都能繼續按自己認為合適的方式存在，同時這個世界裡有一套極其強大的系統在人類身邊運轉，結果是人的存在變得更有意義，人更幸福、更富有、能過更充實的生活。 一旦你真的擁有了那個強大系統，怎麼設計這個世界並不是顯然的事。 ## 2015 年 7 月的那頓晚飯 OpenAI 成立於 2015 年。布羅克曼說，起點來自一個很樸素的問題：這個領域已經有六七十年曆史了，如果人類智力勞動可以被自動化，什麼會變成可能？ 這個問題被反覆問過，也被反覆辜負過。兩次 AI 寒冬之後，整個圈子幾乎不敢再做夢，公開談論 AGI 在學術共同體裡近乎禁忌。 他認為大家從歷史裡學錯了東西。 1959 年感知機發布，《紐約時報》那篇報道說這東西將來能識別面孔、叫出名字、實時翻譯語音。當時的人看了系統，說它什麼都做不了，然後花了十年時間試圖證明感知機這條路走不通，成功了，經費全斷，人們轉向別的方向。八十年代有一波復興，他以前一直聽說那是因為反向傳播演算法被髮明出來了。查了當年的文章才發現因果是反的：**是個人電腦的普及讓更大的神經網路跑得起來了，人才興奮起來，反向傳播是隨後的事。** 而那時候所謂的“更大的神經網路”，也就二十個神經元。二十個神經元能學到什麼？當然出不了好結果。 直到 2012 年，這個五十年代就提出的、最簡單最自然的方法，突然成了解決各類問題的最好辦法。他列出深度學習的三個性質： - **通用性**：一小套工具，深度神經網路加上一些強化學習，能解決語音識別、機器翻譯、遊戲博弈等一大批完全不同的問題。 - **有效性**：四十年積累的傳統計算機視覺方法，被一個深度網路替換掉，效果更好。 - **可擴充套件性**：更大的網路、更多算力、更多資料，效果會繼續變好。這一條被反覆驗證。 這三條加在一起，第一次讓人感覺到通往通用智慧的路徑是存在的。當然不意味著把現有系統放大就自動得到 AGI，推理這塊明顯還缺東西，但至少有了一個能被相信的正規化。 布羅克曼說，一旦你真的相信這件事可能發生，而且可能比多數人預期的更早，你看自己的方式就變了。你不再想自己，你開始想怎麼讓這件事順利發生，怎麼把人和資源組織起來，以及萬一成功了，那個世界是不是我們真的想生活的世界。 ## 一切順序都反了 正常公司的路徑是：創始人和 CEO 起步，做產品，拿使用者，找到產品市場契合，融資，招人，擴張，然後大公司發現你存在，試圖弄死你。OpenAI 的順序完全相反。 2015 年 7 月那頓晚飯，討論的核心問題只有一個：現在才開始建一個實驗室，還來得及嗎？ AI 正在從學術追求變成工業追求，最好的人都在大公司的研究實驗室裡，OpenAI 無論攢多少資源，和巨頭比都是蒼白的。而且不是兩個人寫個產品就行，你至少需要五到十個人的臨界規模。 他們的結論很剋制：這件事並非顯然不可能。既然並非顯然不可能，就值得一試。 ## 一個上限被寫死的公司 2019 年，OpenAI 成立了 OpenAI LP，一個 capped-profit 實體。原來的非營利機構繼續存在，持有 OpenAI 非營利的名號。萊克斯請他解釋這個結構的由來。 布羅克曼的回答從使命開始：確保通用人工智慧惠及所有人。實現這個使命的主要方式是 OpenAI 自己去造，然後讓收益流向全世界。同時他們也接受別人造出來，只要收益沒有被鎖死在一家公司、一群人手裡。這兩條路都寫進了章程，也寫進了 LP 的結構。 所謂 capped，是說如果 OpenAI 真的成功了，投資人可以拿到回報，但回報有上限。通用人工智慧創造的價值會以數量級超過任何現有公司，而這些價值在法律上歸非營利機構所有，用來完成使命。 為什麼需要這個結構？因為兩年前他們意識到，要造 AGI，需要的錢遠超一個非營利機構能募到的規模。不是幾億，是幾十億美元。 於是問題變成：怎麼拿到這些錢，同時不背叛使命？他們把市面上所有法律結構都看了一遍，沒有一個合適。布羅克曼說這其實不奇怪，你要做的事前所未有，那用來做它的結構大概也得前所未有。 > 我們花了大約一年時間起草 OpenAI 章程。你看第一條就寫著，我們預計要調動巨量資源，但我們要確保與使命之間的利益衝突被降到最低。（格雷格·布羅克曼） 對齊“我們到底代表什麼”這件事，是設計整個結構的起點。 ## 章程裡埋著的兩條路 章程裡其實同時寫了兩條路：我們主要靠自己造 AGI，但別人造出來我們也接受。布羅克曼承認這對一家公司來說很怪。 他說這正是設計 LP 時的核心張力。一方面，你要有成為主要參與者的可能性，而這真的需要建組織、募巨資、有執行一個極難願景的意志力，需要簽下一段很長的痛苦和風險。通常的做法就是匯入創業公司心態，全力競爭。 另一方面，真正的使命落在“AGI 對全人類是好的”上面，而不是“由 OpenAI 造出 AGI”。那麼你做的每一件事，都不能把那些同樣符合使命的正面結果關在門外。 百分之百倒向任何一邊都是錯的。他提到自己腦子裡始終有一根弦：**不要只對外說 OpenAI 的目標是造 AGI，這個說法太窄了。**第一，目標裡必須包含“安全”；第二，目標不是由我們造出來。 ## 非營利太純，營利太滿 萊克斯提了一個直接的問題：為什麼一家營利公司就不能對世界好？谷歌大部分收入來自廣告，這不代表它不能做好事。利潤本身不必然損害影響力，真正影響公司的是章程、文化、裡面的人，利潤只是燃料。 布羅克曼說這個問題背後纏著人類社會最古老的爭論之一。他給了一個經驗性的觀察：**讓你列世界上最有影響力的非營利組織，很難；讓你列最有影響力的營利公司，很容易。**今天世界的組織方式確實讓營利機構擁有巨大的影響力，其中一部分原因在於營利機構能自我維持，能靠自己的動量往前滾。 這套機制的副作用也很真實。伐木公司開進雨林，那是我們不想要的結果，問題出在護欄沒設好。 他接著做了個類比，這個類比是整段對話裡最鋒利的地方：**怎麼讓一家營利公司產生正面效益，和怎麼讓一個 AGI 產生正面效益，本質上是同一個問題。**你有一個比任何人都強大、在多個維度上超越人類、某種程度上自主運轉的系統，你必須設好護欄。設好了，收益巨大。 非營利的問題是“發生的事太少”，它們很純粹，但推動事情很難。營利的問題是“發生的事太多”。如果形狀設計對了，它可以非常正面。OpenAI 走的是中間那條路。 他補充了一個容易被忽略的算術：在 OpenAI 成功的那個世界裡，創造的價值是天文數字，所以那個上限只佔其中很小一部分，投資人和員工拿到的回報，看起來和一家非常成功的創業公司差不多。他們最佳化的正是這個成功場景下的分配方式。 普通營利公司不同，它們的信託責任指向股東。在 OpenAI 的結構裡，信託責任指向章程，公司永遠可以做出章程認為正確的決定，即使這個決定損害股東利益。 ## 董事會握著開關，員工握著鑰匙 章程裡有一條：避免讓 AGI 被用來不正當地集中權力。萊克斯問，OpenAI 自己為什麼不會把系統的全部權力攥在手裡？ 答案分兩層。 結構上，決定 OpenAI 行動的權力最終歸屬於董事會，也就是非營利機構的董事會，它對完成非營利使命負有責任。這是把使命和公司綁在一起的方式。 日常層面是另一回事。董事會決定大方向，真正握著技術王國鑰匙的是每天在這裡幹活的員工。這一層怎麼保證？布羅克曼說，答案和任何一家公司的價值觀如何落地是一樣的：你需要一群真的相信這個使命、相信章程的人，他們願意做對自己不利但對章程有利的選擇。這是文化，也是一件必須長期努力維護的事。 他舉了一個大公司很難做到的點：在巨頭裡，一個基層員工很難走到 CEO 面前說我覺得我們做錯了。但在這裡，任何人都可以隨時把布羅克曼或薩姆拉到一邊說這件事，而且經常發生。他提到谷歌員工圍繞 Maven 專案發起的那次集體行動，說別的公司也許有自己的機制，但在這裡這件事的門檻極低。 ## 競賽一旦開跑，安全就是第一個被扔掉的東西 章程裡還有一條：在後期從競爭轉向合作。萊克斯問這條怎麼落地。 布羅克曼說，假設技術問題解決了，部署 AGI 有兩個關鍵難題。 第一個是造出第一個 AGI 之前的軍備競賽。看自動駕駛就知道了，這裡是競爭性的比賽，而競爭性比賽裡永遠會發生的事就是：**巨大的壓力會讓人把安全砍掉。** 他最擔心的是這個場景：多個團隊都發現自己能做到，但走慢一點、更安全的路線會輸，於是大家都選快的那條。 OpenAI 想做的是不製造這場競賽。如果競賽已經在跑，別人跑在前面，他們不打算去跨過去，而是去幫對方成功，只要對方的目標是完成同一個使命。這件事不必自己來做。 但這個承諾不能是單方面的。布羅克曼強調，其他認真做 AGI 的玩家也應該做出類似承諾。如果所有人都相信 AGI 應該惠及所有人，那麼是哪家公司造出來的，其實不該重要。所有人都該擔心的，是為了搶先而跑得太急，結果出了事。 ## 現在不是監管的時候，是測量的時候 萊克斯問政府對這一領域的角色。 布羅克曼說政府必須在場，這不用討論。他們做了多次國會聽證，和不少議員交流過。目前傳達的核心資訊是：**現在不是監管的時候，是測量的時候。** 具體建議是讓政府投入精力搞清楚技術現在到哪一步了、跑得多快，讓監管者真的具備判斷力。 不過他把這件事分了兩個層次。 對於當下的窄應用，已經存在合適的監管機構。自動駕駛該由 NHTSA 管，這很合理，因為這些系統在做的是人類已經在做的事，我們已經有關於標準和安全的思考框架，現在就該給這些機構授權。 對於 AGI，將來會有更好的答案，先測量，再討論規則。他特別提醒，過早扼殺一個正在成長的領域非常容易，這是必須避免的。他隨即補了一句：避免扼殺的方式不能是關起門來自己往前衝、把其他利益相關方排除在外。 ## GPT-2 不釋出的那個決定 2019 年 2 月，OpenAI 釋出了 GPT-2 的論文，但沒有放出完整模型，理由是擔心模型被濫用。萊克斯說，光是這個決定本身就有意思，因為它逼著整個社會開始討論這件事。 布羅克曼先講了背景。語言模型的路徑很清楚：把模型放大，效果會出現質的提升。GPT-2 只是把 2018 年 6 月釋出的那個模型放大了很多倍，然後就突然開始寫出連貫的散文，這是之前沒見過的。 那接下來呢？放大十倍、一百倍、一千倍，會發生什麼沒人知道。 6 月的那個模型，他們判斷是安全的，算學術作品，能帶來的正面價值遠大於潛在危害。到了 GPT-2，能力已經實質性增強，必須有一條線，從這條線開始認真考慮安全問題。 這條線畫在哪裡，內部爭議很大。宣佈不釋出之後，外面的反應同樣分裂：一批人說這顯然該釋出，另一批人說這顯然不該釋出。 > 如果一件事是否有益並不明顯，你大概應該預設選擇謹慎。幾乎可以確定，不釋出是對的決定。（格雷格·布羅克曼） 他把這次決定當成一個測試案例。真正要回答的問題在更後面：**一個社會怎麼從“完全沒有負責任披露這個概念”，走到“我們有強大模型，先走個流程想一想”。** 安全社群建立這套規範花了很多年。你發現一個漏洞，報給公司，公司可能起訴你，也可能根本不理你。那怎麼辦？永遠公開漏洞嗎？聽起來也不好。最後形成的是一整套共識：交給公司，公司在一定時間內不處理，你就可以公開，而且你不是壞人，你做對了。 布羅克曼說 AI 領域眼下完全沒有這套東西，GPT-2 就是一次演練。 ## 和機器人區分這件事，註定要輸 萊克斯把話題推向一個更大的問題：如果假新聞可以用越來越聰明的方式生產、透過複雜的網路傳播、混在真人的原創想法裡，我們怎麼辦？有兩種世界。一種是人類永遠能設計出識別機器人的系統，另一種是我們接受自己在假資訊的海里游泳。 布羅克曼引用了那個流行梗圖：機械臂拿著筆點“我不是機器人”。 > 真正試圖區分機器和人類，最終是一場必輸的戰爭。（格雷格·布羅克曼） 他拿驗證碼舉例。最早的驗證碼就是一張簡單的圖，因為當時的 OCR 很差，加幾個干擾點，人還認得出來，機器不行。今天呢，他自己都經常做不出來。**驗證碼只在某個階段成立，隨著 AI 變強，那些人類很容易、機器做不到的任務會越來越少。** 但希望還在，方向要換。人類早就有身份認證的方式：社保號，把現實世界的身份和數字身份繫結的各種機制。他更看好的路是驗證內容的來源，而不是驗證內容本身。 代價是隱私和匿名性。**如果唯一可信的內容是能追溯來源的內容，匿名還怎麼存在？**他提出聲譽網路可能是一個解法，但也承認這個問題沒有顯然的答案。 他對當下的判斷很具體：今天他讀到一條推文，會隱約感覺這是真人寫的，或者感覺不太像。將來這種感覺會失效。他舉了 FCC 網路中立性意見徵集，後來發現其中數百萬條是自動生成的，研究者當時還能用統計方法識別出來。等到統計方法也失效呢？等到最有說服力的論證是 AI 寫的呢？他說，這已經不能算科幻了。 ## 欺騙要劃紅線，陪伴不必 萊克斯把問題反過來問：為什麼和 AI 互動這件事本身是個問題？為什麼思想不能來自用人類資料訓練出來的模型？ 布羅克曼的答案很剋制。他說有一條線必須劃死，就是欺騙。圖靈測試式的場景裡，一個 AI 假裝成人來騙你，這感覺是錯的。人需要對自己所處的環境有掌控感，需要知道對面是 AI 還是人，不能在這件事上被蒙。 另一件事他覺得完全可以。他又提到電影《她》，說這部片最好的一點是，它一開始就在問虛擬關係能有多真實，然後你跟著主角一起被捲進去，所有情緒按鈕被觸發的方式和對面是真人時一模一樣。 > 一個好笑的段子，有時候是不是人寫的並不重要。我們造 AI 的目的是增強人的生活，讓人能做更多事，讓人更充實。如果能做到，我籤。（格雷格·布羅克曼） ## 語言模型離推理還有多遠 萊克斯問：光靠無監督語言建模，能走到圖靈測試嗎？ 布羅克曼說圖靈測試真正考的是推理，語言只是外殼。真要過測試，他得能教對面微積分，對面真的懂了，還能解新的微積分題。語言模型做不到這一層，需要把推理接進去。至於接的方式是全新的想法，還是對現有系統稍作改造，這是開放問題。 但他也強調，語言模型已經走得比很多人預期的遠。GPT-2 讀到“水下著火”這類描述時可能確實不理解那是什麼，但它也知道煙來自火，這些是從靜態文字里學到的，它沒有身體，沒有物理經驗。 至於“把 GPT-2 放大就能長出推理嗎”，他判斷不太可能。他給了一個技術上的說法：**型別簽名不對。** 人類思考的時候會投入可變的算力，想得越久答案越好。這個“多花算力換更好答案”的簽名，沒有被編碼進語言模型。模型在進化史上花了極長時間把預測這件事做到極致，但執行時只做一次前向傳播就往外吐字。要讓簽名對上，至少得做點改造，比如生成一整串思考過程，只保留最後收斂的那一段。 另一個缺失是分佈外泛化。遇到沒經歷過的東西，還能持續修正自己的心智模型，這件事在他看來同樣和推理糾纏在一起。可能只是一處小改動，也可能是需要幾十年的一堆新想法。 萊克斯在這裡開了個玩笑：也許從來就沒有什麼新想法，莎士比亞的所有故事拆開看都是愛與戲劇的不同排列。布羅克曼笑了，說確實。 ## 薩頓那篇部落格被誤讀了 萊克斯提到理查德·薩頓的一篇博文，核心觀點是：七十年 AI 研究最大的教訓是，能利用算力的通用方法最終會贏。 布羅克曼說，那篇文章的反應很有意思，很多人讀成“算力就是一切”，並因此感到威脅。他不認為這是對的。演算法上的想法顯然極其重要，要造 AGI，算力規模和人類創造力兩邊都要推到極限。 但他認可那個問題的問法：**我們應該追求什麼樣的想法？**答案是那些可擴充套件的想法。一個想法如果投入更多算力、更多資料就會變得更好，那它就是聖盃。 萊克斯提出一個更現實的角度。一個十三歲的孩子坐在堪薩斯州某處，手上可能只有一塊 1080 顯示卡，甚至沒有 GPU。看到“規模決定一切”這種說法，他會覺得自己沒法參與。那麼要不要把算力的民主化看得和演算法民主化一樣重要？ 布羅克曼把可能性空間切成兩塊。 一塊確實需要巨量算力，沒有捷徑，這也是 OpenAI 要建大叢集的原因。另一塊不需要，而且這塊裡的好想法有個特徵：放大後會變得更好，但你在小規模就能發現它。GAN 和 VAE 都是這樣的例子，實際做出它們的人當時也沒有海量算力。 不過他也補了一刀：最早的 GAN 生成結果相當糟糕。發明者聰明到知道這條路能走通，但東西本身還很粗糙。 他講了一個哈佛系統教授 Matt Welsh 的故事。Welsh 拿到終身教職的那場報告，布羅克曼就在臺下聽。那個夏天 Welsh 去了谷歌，然後決定不回學術界了。他在部落格裡寫：作為系統研究者，我做出漂亮的系統想法，做個原型，最好的結局是谷歌或雅虎的人把它實現、真的跑起來。**我造了個小東西，他們造了個真正在運轉的大東西。我不想再當那個人了。** 布羅克曼說這裡有個很個人化的取捨：你可以做提出想法、做出原型的人，你拿不到最酷的 GAN 影象，但 GAN 是你發明的。兩邊都有價值。 也有反例。2018 年 6 月那個模型在小規模時已經創下一些記錄，生成結果雖然遠不如 GPT-2 驚豔，但能看出苗頭。可是有時候規模會催生質變，湧現出小規模完全看不到的行為，連演算法最初的發明者都會說“我沒想到它能做這個”。 ## “我沒想到它能做到那個” Dota 的故事就屬於這一類。 OpenAI 選 Dota 是因為它比國際象棋和圍棋更接近真實世界。棋類是純腦力的、離散的、回合制的。Dota 是連續時間，動作空間巨大，一局四十五分鐘，不同單位、大量混亂因素，之前的遊戲都沒捕捉到這些東西。而且所有手工寫的 Dota 機器人都是災難，根本沒法寫，太複雜了。 他們從一對一版本開始，用自我對弈：兩個什麼都不會的智慧體互打，其中一個摸索出一點優勢，另一個立刻也學會了，然後雙方無上限地互相推高。他們打贏了世界冠軍，技能曲線是乾淨的指數增長，人類迭代迴圈帶來了非常穩定的進步。 然後擴到五對五。這相當於從單挑變成籃球，需要大量團隊協同。同一套自我對弈方法，推到了職業水平。 布羅克曼有個比喻：這些智慧體更像昆蟲智慧。一隻昆蟲在環境裡活很久，把大量經驗烘進身體裡。它不會學微積分，但在自己的環境裡導航得極好，面對沒見過的東西也能應付。Dota 機器人也是這樣，它們要對抗人類，而人類這種事在其訓練環境里根本不存在，打法完全不同，但它們處理得很好。 這一點在小規模 PPO 上看不到。**訓練用了十萬級別的 CPU 核心和幾百塊 GPU，每一天灌進機器人的經驗量，相當於數百年。**在那種規模下，熟悉的老演算法開始表現出完全不同的行為。 2018 年國際邀請賽，OpenAI 上臺和世界頂級戰隊打了兩場，都輸了，但每場都打到二十五三十分鐘，來回拉鋸。他們判斷那已經是職業水平，只是運氣沒站在自己這邊。國際邀請賽的時間是固定的，他們只能在那一天之前把系統推到極限。兩週之後，對同樣的對手勝率大約八成。 所以那場比賽是一個快照，不是終局。布羅克曼說他們很快會宣佈最終一戰，對手是世界冠軍，比賽會在這期播客上線前公佈。但對他而言，成敗判定不在這裡。專案的目標從來都是推進強化學習的技術邊界，那個目標已經達到了。 ## 專案有生命週期 萊克斯問未來幾年深度學習和強化學習往哪走。布羅克曼說方向和規模都要，缺一不可。 OpenAI 內部有一套專案生命週期。一開始是幾個人做一個小規模的想法，語言模型就是典型例子：很長一段時間只有一個人在推。然後出現生命跡象，比如初代 GPT 的效果讓人興奮，那就到了放大階段，加人、加算力，繼續推，最終形態像 Dota 或機器人那樣，十幾二十人的大團隊，大規模運轉，工程和機器學習研究擰在一起，做出否則根本不可能的結果。 這套流程他們跑過好幾輪，一個週期大概一到兩年。組織成立才三年多。 2019 年新開的一個團隊是 Reasoning Team，由伊利亞和另一位研究員牽頭，專門攻“怎麼讓神經網路推理”。布羅克曼預期這裡是長期專案。 萊克斯問，什麼樣的表現會讓你覺得推理真的成了？布羅克曼說邏輯，尤其是數學邏輯。他補充了幾類在他看來同構的問題：程式設計，甚至程式碼的安全分析，這些捕捉的是同一套核心推理能力，以及分佈外泛化。 萊克斯順勢開了個玩笑：如果 OpenAI 推理團隊證明了 P=NP，那挺好。布羅克曼說那會非常非常激動人心，尤其如果最後發現 P 確實等於 NP，那就更有意思了。 ## 火星和木星之間有個茶壺 萊克斯問：我們是不是生活在模擬裡？ 布羅克曼的回答方式很能說明他的思維習慣。他說自己會把問題分成兩類：能對世界給出可驗證的不同預測的，和只是好玩但不知道怎麼影響生活的。**模擬假說在他這裡屬於後者，性質接近“火星和木星之間是不是飄著一個茶壺”。也許是，但很難說這對我的生活意味著什麼。** 不過模擬在工程上確實有用。OpenAI 的機器手系統 Dactyl 就是在模擬裡訓練的，用的還是 Dota 那套系統，然後遷移到實體機器人上。外界總說這只是個遊戲，你怎麼可能跨到真實世界？答案是他們已經用一隻沒人能手工程式設計的機械手跨過去了。只要方法對，模擬能走的路比你想的遠得多。 但“模擬裡的智慧體會不會醒來、有沒有意識”，他覺得這個問題難得多。 ## 二十個神經元和一隻貓 萊克斯追問：造通用智慧，需不需要意識？需不需要身體？ 布羅克曼先給了不宏大的答案。看看已經在運轉的東西：很多人會說，要得到這些結果，你需要真實世界經驗，需要身體，需要 grounding，否則你怎麼理解煙和火？而 GPT-2 證明你可以走得比這種推理遠得多。它沒有身體，沒有意識，卻在某些維度上顯得通用了，雖然遠不如 AGI 那樣能幹、學得快。 所以答案大概是：不需要。至少現在這些系統不需要。 然後是宏大的那一半。如果神經網路已經有意識了，我們怎麼知道？ 他提到動物身上明視訊記憶體在意識連續譜。他的貓有某種程度的意識，只是不如人。你可以想象造一臺意識測量儀，對著貓測出一個數字，對著人測出大得多的數字。**那對著一個神經網路測呢？如果你在訓練一個巨大的模擬，裡面的網路會感到痛苦嗎？** 他說，要確信答案是“不會”變得很難，要思考“如果是會”意味著什麼，也變得很難。 他給了一條可能的解釋路徑：也許人類有意識，是因為意識是一個方便的計算捷徑。一個需要躲避疼痛、需要進食才能生存的存在，最省事的實現方式可能就是讓它有意識。**如果這個說法成立，那我們應該預期，足夠強的強化學習智慧體也會有某種意識。**但這裡有個很大的“如果”，反方向的論證也不少。 萊克斯接過話頭說，覺得 GPT-2 有某種程度的意識，這個想法也許沒有想象中那麼瘋狂，就像我們討論狗的智慧、貓的智慧、人的智慧一樣。 最後一個問題，萊克斯問得很輕：我們會不會像《她》裡那樣，和 AI 相愛？或者 AI 愛上人類？ 布羅克曼說，我希望會。 萊克斯說，用愛收尾再好不過了。 ## 如果只記三件事 這期對話發生在 2019 年 4 月，GPT-2 剛釋出兩個月，OpenAI LP 剛成立一個月，Dota 的最終一戰還沒打。回頭看，布羅克曼當時說的很多判斷後來被驗證了，也有很多地方他自己承認不知道。對今天讀這段對話的人來說，真正有用的或許不是那些結論，是他處理問題的方式。 - **判斷一個技術方向，先看它的可擴充套件性。**一個想法如果投入更多算力、更多資料就變得更好，它值得押注；一個只能靠人工反覆調優才成立的想法，天花板擺在那裡。這個標準可以用來評估你自己在做的專案，也可以用來識別別人給你講的技術故事裡哪一部分是真的有生命力的。 - **把“誰是操作員”當成必須回答的問題，別留到事後。**技術安全解決的是系統聽不聽話，治理解決的是誰在說話、他的價值觀會影響誰。任何強能力系統上線之前，這兩個問題都得有答案，缺一個都不算完成。這條對做 AI 產品的人成立，對做任何有槓桿的工具的人也成立。 - **遇到“有益還是有害並不明顯”的判斷，預設選謹慎。**布羅克曼對 GPT-2 的處理邏輯可以遷移到很多場景：如果內行吵成一團、兩邊都有強論證，說明風險不對稱，此時不做的成本遠低於做錯的成本。真正需要警惕的是那種“顯而易見該發”的自信。 - **在你沒有算力的方向上找可擴充套件的想法。**GAN 和 VAE 都是在資源有限時被提出來的，它們的價值在於放大之後會更好。個人的策略很少是與巨頭比叢集規模，更可行的是去找那種“小規模能驗證、大規模會爆發”的想法，然後把它做出來當作證據。 - **警惕競爭壓力對安全標準的侵蝕。**軍備競賽裡第一個被砍掉的永遠是安全冗餘。如果你所在的團隊正在“慢一點更安全但會輸”和“快一點但有風險”之間做選擇，那說明賽道本身有問題，值得退出來重新看，或者像布羅克曼說的那樣，去找那個跑在前面的人合作，而不是加速跨過去。