# 沃伊切赫·扎倫巴：OpenAI Codex、GPT-3、機器人技術與 AI 的未來

> OpenAI 研究員談 GPT-3 與 Codex 的誕生、大型語言模型訓練中的取捨，以及 AI 安全與機器人前景。

- 原標題：#215 – Wojciech Zaremba: OpenAI Codex, GPT-3, Robotics, and the Future of AI
- 期數：第 215 期
- 釋出日期：2021-08-29
- 嘉賓 / 主題：沃伊切赫·扎倫巴：OpenAI 與程式碼生成
- 網頁版：https://lex.qiaomu.ai/tw/ep/wojciech-zaremba/
- 官方頁面：https://lexfridman.com/wojciech-zaremba/
- 精讀字數：約 6054 字（閱讀約 13 分鐘）

> 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。

OpenAI 聯合創始人沃伊切赫·扎倫巴（Wojciech Zaremba）在萊克斯·弗裡德曼（Lex Fridman）的播客裡給了一個機率判斷：我們可能是宇宙裡唯一的智慧生命。他說這話時並不篤定，但結論很重。如果真是這樣，生命和意識就變得格外珍貴，值得被認真對待。

關於費米悖論，他聽過最瘋狂的一個答案和計算有關。宇宙溫度越低，理論上能做的計算越多。一個真想最大化算力的文明，最理性的選擇也許是把熵留給未來，安靜地等宇宙冷卻。扎倫巴不確定自己是否相信這個答案，但它至少說明一件事：我們看不見外星人，可能是因為向外擴張在對方的優先順序裡排得很低。

他還提了一個更溫和的可能：智慧文明或許都選擇了向內。探索三維空間的價效比，遠低於把機器接進大腦、在自己內部製造無限體驗。宇宙太大，光速太慢，往外跑的收益太低。

## 給未來的外星人留一份備份

考古學的侷限讓扎倫巴有些傷感。如果某個文明在地球上誕生又消亡，只要時間足夠久遠，我們根本無從察覺。他把地球放進同樣的視角：如果人類也消失了，能留下什麼痕跡，讓後來的智慧生命知道這裡曾經有過一些不錯的東西？

Wikipedia、YouTube，也許可以存進一顆繞地衛星的硬碟，比我們的身體儲存得更久。

這個念頭的前提更難接受：我們可能會死，而且可能死得很突然。他提到宇宙中觀測到的伽馬射線暴，高能射線據說能抹掉整個星系。如果那是真的，可能沒有任何防護手段。

他觀察過去的文明，比如阿茲特克人，問它們為什麼消失。他的推測是遇到了解決不了的問題，也許是洪水，也許是喝不到乾淨的水。這些問題在今天看來很簡單：把水燒開再喝就行。技術擴充套件了行動空間，行動空間越大，可解的問題越多。當下的疫情也一樣，最後把問題按下去的仍然是科學。

行動空間擴大也有另一面。新增的行動裡，有些執行起來極其容易，後果卻極其嚴重。扎倫巴用資本主義解釋集體行為的錯位：市場給各種活動標了價，但有些我們真正在意的東西沒有價格。清潔的空氣、網際網路上不被破壞的環境，公司可以免費汙染。政治的一部分工作，就是把激勵對齊，先想辦法測量這些價值，再給它們定價。至於怎麼投票、怎麼把錢移動到符合自己價值的地方，那是技術問題。

這一塊他承認自己想不清楚，於是把判斷權交給了山姆·奧特曼（Sam Altman）。他自稱更偏「天真的嬉皮士」那一側，靠自我懷疑和樂觀運轉。

## 生命是一張圖裡出現的環

扎倫巴有一套關於生命起源的心智模型。他設想早期的海洋裡有一鍋氨基酸和蛋白質組成的原始湯，各種物質透過反應互相轉化。把「什麼變成什麼」畫成一張巨大的有向圖，每個節點是一種物質，每條邊是一次轉化。

**生命的出現，等價於這張圖裡第一次長出了環：同一個東西反覆變回自己。** 環不需要奇蹟，它需要的只是邊的數量足夠多。當圖足夠稠密，環遲早會自己冒出來。生命因此更像一道關於連通性的機率題，神蹟並非必需品。

至於智慧和意識，他現在的直覺是兩者高度纏繞，而且都是連續量，沒有清晰的開關。證據來自神經網路的內部表徵：影象識別網路的啟用模式，和猴子視覺皮層的啟用高度相關；語言模型也表現出類似的對應。在三維環境裡訓練智慧體，一開始它連前景和背景都分不清，過一段時間能定位到「腳」，再往後開始擁有真正的三維感知。你甚至可以問它「把頭轉向右邊會看到什麼」，早期的預測很糟糕，訓練久了，它會理解轉頭 360 度之後應該看到同一個東西。

DOTA 的智慧體之間會協作，對彼此有預期，內部似乎出現了代表其他智慧體的符號。扎倫巴認為，一旦系統開始為技能做最佳化，它遲早會需要一個符號來描述自己。**這個描述自己的符號，他願意稱之為自我意識。** 自我意識不等於意識。意識在他這裡的定義更接近「喝一杯咖啡時的主觀體驗」，或者「做一隻蝙蝠是什麼感覺」。

## 意識是壓縮器開始壓縮自己

意識會不會和記憶、迴圈連線有關？麻醉藥提供了一條線索：它擾亂腦波，讓記憶無法形成，意識隨之減弱。

他區分了兩個模組。一個是自我意識模組，也就是描述自己的能力；另一個是敘事模組，把原始感官資訊壓成一個故事講給我們聽。有人天生沒有內在的敘述者，必須藉助外部的人來完成需要內心獨白的任務。**體驗可以脫離語言而存在。** 感覺本身就是一個比原始感官資訊簡單得多的抽象，這個抽象足夠有用，讓人能作為一個「實體」在這個世界裡行動。它最實用的地方，是讓人真的在乎自己不要死。

那麼，能不能用數學描述意識？扎倫巴的思路從壓縮出發。GPT 預測下一個詞，這件事等價於壓縮文字。壓縮的本質是學習現實的模型，你只需要記住自己預測錯的地方。我們對開車的預測、對世界走向的預測，也是同一回事。他猜測意識與壓縮纏繞在一起，而自我意識，可能是壓縮器試圖壓縮它自己。

數學裡有哥德爾定理，電腦科學裡有停機問題，兩者都指向同一個結構：一個足夠複雜的系統，可以把自己指回自己。**當壓縮排行到某個程度，壓縮器去壓縮自己就變得划算了。他把這個想法叫做元壓縮。**

他承認自己並沒有超越圖靈機的計算概念，只是認定意識對應著一類特定的計算。至於這類計算是否依賴具體的物理載體，他目前的直覺是可以完全抽象掉。你用矩陣乘法堆出天文數字的計算量，他也不會認為那裡面有意識。

## 自我就是給 GPT 的那段提示詞

這裡出現了一個漂亮的類比。GPT-3 可以透過在文字開頭加一段字首來控制，你寫「這是一段與 Lex 的對話」，模型就會以 Lex 的口吻繼續寫下去；你寫「這是與 Elon Musk 的對話」，它就會談火星殖民和可持續的未來。它像一個變色龍，從人類的全部文字里學來，可以被變成任何東西。

扎倫巴說，我們用來描述自己是誰的那個故事，幾乎就是那段字首。**有人把這個字首叫做「自我」。自我就是 GPT 的提示詞。**

冥想做的事情，是把提示詞拿掉。人開始以事物本來的樣子去體驗它們，不再被「它們應該是什麼樣」的描述帶偏。他描述過一種體驗：注意力持續向內收，思考慢下來，偶爾有念頭冒出來，但整體變得越來越友善、越來越正向。他說那感覺像一滴水落進愛的海洋。

從獎勵函式的角度看，這個解釋更樸素。我們平時總是在接收一點獎勵訊號，再把它分攤到各種活動上。如果長時間保持不動，獎勵會累積、累積、累積，某個時刻越過閾值，就出現了那種體驗。自我會回來，但那一小段被清空的時間確實存在。

他建議對冥想感興趣的人直接去參加靜修，從週末兩三天的短程開始。**頭一兩天很難，之後就變簡單了。** 難的來源是心態：如果人在等它結束，或者在等涅槃降臨，那會非常難受。身體上的不適是真實存在的，腿會麻，會酸。老師教的方法是觀察它，不逃開。想逃的衝動被看清之後，痛苦反而消解。

伊利亞（Ilya Sutskever）用洗冷水澡來「擁抱受苦」，扎倫巴的做法類似，他只是純粹地觀察水怎麼流過身體，不試圖逃離。**讓冷水澡變舒服的唯一辦法，是成為觀察者，在裡面找到樂趣。** 長跑、極限耐力專案、任何一種疼痛，處理方式都一樣：不抵抗，只觀察。

## 和伊利亞的互補

扎倫巴和伊利亞·蘇茨克維都是 OpenAI 的聯合創始人，也是多年的密友。他說自己對伊利亞的洞察有極高的敬意，同時也很清楚自己的強項在哪裡。

他把伊利亞稱為世界上最豐產的 AI 科學家之一，而自己最擅長的事情是把人聚到一起協作。他有一種在 AI 圈子裡不太常見的共情能力，來源可能是冥想，可能是致幻劑，也可能是讀過的幾百本相關書籍。他帶出來的人後來很多成了 OpenAI 的研究經理。**他主動把人推上去，自己不佔著位置。**

這種分工之所以成立，是因為伊利亞不喜歡管人，而扎倫巴天生外向，喜歡和人待在一起。

判斷一個人是否真正有天賦，他有一個機率論證：如果發明一項突破的機率是百萬分之一，那發明兩次就是百萬分之一的平方，三次就是立方。**一個人如果反覆發明，就不可能是運氣。** 伊利亞就是那種反覆發明的人。他觀察伊利亞的方式也很特別：先讀大量東西，再花大量時間純思考，最後從思考里長出數學。

關於深度思考，扎倫巴說他和伊利亞都會定期把自己從世界裡斷開。伊利亞的做法是手裡只留一臺 iPad。扎倫巴會去另一個城市的 Airbnb 住幾天，關掉手機，誰也找不到他。**他需要這樣的空白來生成新想法，一直被動反應會讓想法長不出來。** 年紀越大，手邊的雜事越多，這種時間越難擠出來。

他後來改了自己的日曆：週一到週二開會，週三到週五全部設為不在辦公室。三天完整的專注工作，讓他的情緒明顯變好了。

## GPT-3：把所有問題變成填空題

GPT-3 是一個巨大的神經網路，訓練資料是整個網際網路，任務只有一個：預測下一個詞。看到一篇文章的前半段，它要說出下一個詞是什麼，反覆地說。它在這個任務上變得極其出色。

為什麼預測下一個詞這麼重要？**因為大量問題可以被改寫成文字補全題。** 你問「美國總統是誰」，它會回答。你構造一段像網站內容的文字，假裝是在教人翻譯，寫成「EN：某句英文 / FR：」，然後讓它續寫，它就真的在翻譯。

更瘋狂的是，它可以扮演。你構造一段兩人對話的文字，寫成 Lex 和 Elon 的對話，它續寫出來的 Elon 會講火星殖民、講可持續未來。它的語法、句法、語義都對得上，泛化能力強到讓人吃驚。

但扎倫巴很謹慎地加了限制條件：它能生成幾段連貫的文字，寫長了就會脫軌。**它寫不出一整本書。**

脫軌的方式很有意思。模型訓練在人類已經寫下的文字上，它自己的錯誤不在訓練資料裡。假設你和它扮演的 Elon 對話，說「Elon 是我的妻子」，它會接著往下演，當成真的。真人 Elon 會回你一句「你在說什麼」。**模型沒有人類在迴路裡的即時反饋，錯誤會被一次次放大。** 人類的錯誤也會被放大，只是我們出錯的頻率更低、被現實糾正得更快。孩子對世界有錯誤認知，很快就會被經驗修正，因為孩子是接地在現實裡的。

扎倫巴說，如果模型能訓練在「人類如何學習」的資料上，它會好得多。

## 權力與「華盛頓式」讓權

關於 GPT 到底是不是通向 AGI 的路，扎倫巴打了個比方：有人說我們在造飛船去月球，有人說我們只是在搭一架越來越高的梯子，永遠夠不到月亮。他承認現在這還是一個科學問題，不知道哪個比喻對。**他的態度是先試試看能走多遠，而到目前為止，進展一直在持續。**

他傾向於認為智慧是多軸的，系統會在某些軸上超人、在另一些軸上不如人。所有軸同時超人，他會覺得意外。

對於 AGI 的風險和部署策略，他的答案是「迭代部署」。**一點一點地把更好的版本放出去，讓外部的人來批評、來試用，看看真正的問題在哪裡。** 他不想要的狀態是：手裡握著一個強大的系統，同時世界上積壓著巨大的能量，等到某天一次性釋放，帶來混亂的衝擊。

弗裡德曼問過伊利亞的問題也問了他：如果手裡握著一個接近 AGI 的系統，權力會不會腐蝕你？他的回答是要把權力分散出去，讓 AGI 不被少數人控制。**這需要一次「華盛頓式」的讓權：在登上權力巔峰的那一刻，有足夠的道德羅盤把權力交出去。** 人類在這個動作上，歷史上表現得時好時壞。

他擔心一種情形：國家之間的 AI 競賽讓人對自己撒謊，用「防禦中國、防禦俄羅斯」的邏輯，正當化不分散權力的行為。至於怎麼設計治理機制，他再次說自己想不清楚，更願意相信山姆·奧特曼。他提到奧特曼寫過一篇關於分配財富的部落格，提議把徵稅物件從利潤換成股權，再把收益分出去，奧特曼還花錢做過全民基本收入的實驗。

話題轉到自主武器系統，扎倫巴承認這讓他自己也難以推理，最終仍然把判斷交給了奧特曼。但他強調一件事值得所有人去想。他講了自己的一段經歷：他給一輛遙控車寫過程式，車速能到每小時三四十英里。當時他睡眠不足，程式碼寫得糟糕，結果程式卡死，車不會轉彎，全速直直撞上牆。**那一刻他意識到，編寫 AI 系統需要的嚴肅程度，和後果的嚴重程度是綁在一起的。** 一個最底層的工程師和一個公司的 CEO，都需要用同樣的嚴肅去對待最壞情況。

不過他補了一句：恐懼本身會讓人癱瘓。他選擇出於愛去工作，出於熱情、好奇，以及對積極未來的期待。這種愛的定義，來自嚴格的共情練習，它要求人不斷去聽別人的聲音，不把自己的偏好投射到別人身上。

## Codex：程式語言的又一次降級

GPT-3 在訓練中長出了一點粗淺的程式設計能力，你讓它寫一個兩數相加的函式，它能寫出 Python 或 JavaScript。OpenAI 乾脆全力去做一個擅長程式設計的系統，於是有了 Codex，以及 GitHub 上的第一個產品 Copilot。

Copilot 的作用是在你寫程式碼時給出補全建議。它和過去的補全工具最大的區別是長度：以前補幾個字元、一行，現在能補十行。**它最自然的用法，是先寫一句註釋說明想要什麼，它來完成函式。** 扎倫巴說，他現在寫程式碼不再去 Google 搜尋合適的寫法，而是寫一句「這個區域做平滑處理」，Copilot 會自己匯入合適的庫，用上 NumPy 卷積，甚至用了他自己都不知道存在的函式。

他坦言沒人知道這個系統能生成的全部小程式空間有多大，也不知道失敗案例、邊界情況、細微錯誤和嚴重錯誤各佔多少。**但在大量情況下它能工作是事實，這件事本身已經足夠驚人。**

他把 Codex 放進一個更長的歷史脈絡裡看。計算機的介面從打孔卡片開始，那時只有極少數專家能用，甚至有人覺得不需要更多人用計算機。後來出現了彙編、C，抽象層級提高，能用計算機的人變多。再從 C++ 到 Java、Python，又是一次躍升，更多人能寫程式碼，技術隨之擴散。**Codex 是這條階梯的下一級：讓人類用自己的語言和計算機對話，不必再學一套專門的語言。** 他期待生物學家不必花大量時間學程式設計，就能處理 DNA 相關的工作。

一個更妙的應用方向是軟體內部的 API。日曆、Word、Photoshop 這些軟體都有指令碼介面，今天你想加一個複雜行為，就得加一個新按鈕。有了 Codex，你可以直接說「幫我和 Lex 約下週兩點以後的會」，它現場寫出對應的程式碼。**這最接近當年 Siri 和 Alexa 許下的承諾：不用硬編碼，把自然語言翻譯成機器語言。** 他甚至設想用語音在手機上編輯文件，因為手機鍵盤太小，而說話描述「把標題調大、把段落挪一挪」要自然得多。

## 程式可以被執行，語言不能

扎倫巴提到一個他覺得很有價值的差別。語言模型生成的內容，你很難自動判斷對錯，需要人來判斷「這句話說不說得通」。程式不一樣：**程式可以被執行，你可以直接看到它算出什麼。** 於是反饋迴路可以自動化，寫單元測試、跑測試、根據結果改進，都可以由機器完成。他甚至設想模型自己寫測試來改進自己。

他還談到一個關於程式碼維護成本的直覺：如果一個技巧能帶來兩倍收益，但要寫一千行程式碼，他未必願意要。**五行程式碼換兩倍，他會要。** 這需要一種對程式碼不執著的能力，隨時願意刪掉。

## 一隻手解魔方

在 Codex 之前，扎倫巴領導過 OpenAI 的機器人團隊。他們的判斷是：強化學習已經被 AlphaGo、DOTA2 證明能解決相當複雜的問題，那機器人呢，能不能訓練機器解決物理世界裡的任意任務？

他們選了一個一旦解決就能說明問題有實質進展的題目：**用一隻機械手，單手解開魔方。** 難點在操作本身：讓方塊不從手裡掉出去，用五根像小手臂一樣的手指去轉動魔方的不同面。他們特意選了這種很難硬編碼的任務和很難硬編碼的硬體，讓解法具備泛化能力。

路線是模擬。真實世界的瓶頸是沒有資料，模擬裡資料可以無限，代價是模擬的保真度。他們讓模型通吃一