# 安德烈·卡帕西：特斯拉 AI、自動駕駛、Optimus、外星人與 AGI > 前特斯拉 AI 負責人談自動駕駛的技術路線、人形機器人與通用人工智慧。 - 原標題：#333 – Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI - 期數：第 333 期 - 釋出日期：2022-10-29 - 嘉賓 / 主題：安德烈·卡帕西 - 網頁版：https://lex.qiaomu.ai/tw/ep/andrej-karpathy/ - 官方頁面：https://lexfridman.com/andrej-karpathy/ - 精讀字數：約 6067 字（閱讀約 13 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 安德烈·卡帕西（Andrej Karpathy）把訓練好的人工神經網路稱為**複雜的外星人造物**。他刻意不拿它跟大腦做類比。 說這話的人是當事人。他在OpenAI做過研究員，在特斯拉做過AI總監，Stanford博士，深度學習領域最頂尖的實踐者之一。他每天的工作就是訓練這些東西，可他用“外星人造物”來形容它們。 這個選擇透露了一種態度：對大腦保持敬畏，對人工網路保持清醒。也正因為這種清醒，他後面談生命起源、外星文明、宇宙模擬這些大問題時，給出的判斷才格外耐琢磨。 ## 矩陣乘法加旋鈕，為什麼能湧現魔法 卡帕西先講了一件容易讓人失望的事。神經網路是什麼？一個數學表示式。具體點，一串矩陣乘法，數學上就是一堆點積，中間塞幾個非線性函式，就這樣。表示式裡有很多旋鈕，也就是引數，這些旋鈕的設定決定了網路能不能把影象分對類、能不能把下一個詞預測準。 到這裡都很樸素。他自己也承認，這麼講是在“嚴重低估”神經網路。 另一面是，這些簡單的數學表示式一旦足夠大、訓練在足夠複雜的問題上，就會表現出讓人意外的湧現行為。用海量網際網路資料做下一個詞預測，網路會發展出相當驚人的能力，可以回答問題，可以續寫解題過程，而且經常看起來很連貫。 他用的詞是“魔法般的屬性”。 這兩件事擺在一起有點矛盾：數學上如此簡單，行為上如此複雜。他的解釋是，我們其實很擅長最佳化這些網路。當你把一個足夠難的問題丟給它，最佳化過程會強迫它學到非常有趣的解，這些解就帶著湧現性質。 > 旋鈕裡裝著智慧和知識。這個表徵就凝固在旋鈕的取值裡。（安德烈·卡帕西） 這句話值得多琢磨一會兒。一個幾百億引數的矩陣集合，經過梯度下降，最後在引數空間裡壓成某種對資料的表徵。沒人設計過這個表徵，它由最佳化過程硬壓出來。它包含了資料裡反覆出現的規律，也包含了某種被壓縮過的“理解”。 所以卡帕西說自己同時在做兩件事：一邊低估神經網路，一邊高估神經網路。低估，是因為它們確實有驚人的湧現能力；高估，是因為數學形式明明這麼簡單，卻能湧現出這麼多東西，這件事本身就不太正常。 ## GPT就是下一個詞預測，可它不只會預測 他拿GPT舉例。GPT本質上就是一個下一個詞預測網路：喂進去網際網路上的一段詞序列，讓它猜下一個詞是什麼。訓練資料足夠大之後，你可以用各種方式去提示它，讓它解題，它會接著往下寫。寫出來的東西經常看起來相當一致，甚至可能是對的。 容易被忽略的一點在這裡。我們習慣把“預測下一個詞”當成一個很笨的任務，覺得這跟“理解”差著十萬八千里。可當資料量足夠大、模型足夠大，為了把下一個詞預測準，網路被迫在內部建起某種對世界結構的表徵。你不讓它理解，它就預測不準。預測的壓力反過來逼出了理解。 卡帕西沒有把話說滿，他用的詞是“看起來相當一致”“可能是對的”。這種剋制貫穿整場對話。他談的是自己親手做出來的東西，卻始終留著一層懷疑。 ## 訓練出來的東西，跟大腦走的是兩條路 對話裡最有意思的一段，是他對大腦類比的警惕。 神經網路的靈感確實來自大腦，這一點沒人否認。可卡帕西強調，訓練結束之後你拿到的那件東西，跟大腦是兩套完全不同的最佳化過程造出來的。大腦是進化加多智慧體自博弈的產物，在一個資源受限的環境裡跑了非常非常久，參與者互相競爭、合作、欺騙、結盟。人工神經網路是在海量資料上做壓縮目標的最佳化，沒有多智慧體自博弈，沒有生存壓力，沒有幾十億年的篩選。 > 我傾向於把它看成一個非常複雜的外星人造物。它是另一種東西。我不拿它跟大腦做類比，因為產生它的最佳化過程，跟產生大腦的最佳化過程非常不一樣。（安德烈·卡帕西） 他把這個區分講得很清楚：進化找到了“預測”這件事很有用，所以大腦裡大機率也有類似預測模型的東西。但大腦除此之外還有一大堆零件，有價值函式，有古老的核團，有胚胎髮育過程從一個細胞長出整個生物體的編碼。這些東西在人工網路里根本不存在。 他提到胚胎髮育時語氣明顯變了。“整個生物體從一個細胞長出來，編碼就在DNA裡，它就這麼建起來了。這太瘋狂了。”一個做AI的人，被生物學震住的地方，恰恰是生物體自己把自己組裝起來這件事。 這也是他反覆回到生命起源話題的原因。他想搞明白，宇宙裡出現一個能造技術的文明，到底有多難。 ## 生命可能不罕見，這才是費米悖論更麻煩的地方 卡帕西說，他最近被費米悖論纏得挺厲害。費米悖論問的是：如果宇宙裡應該有那麼多文明，為什麼我們一個都沒聽到？ 他的結論是，外面應該有不少。 這個判斷來自他對生命起源的重新認識。他以前覺得生命起源是一個魔法般的稀有事件，後來讀了Nick Lane的書，比如《The Vital Question》和《Life Ascending》，想法變了。鹼性熱泉、鹼性水和海水混合、質子梯度、多孔結構把化學物質濃縮起來，Lane一步一步把這些環節拆開，讓你覺得從地質到原始生命這條路其實挺順。 > 你幾乎得從地球的形成講起，從太陽系的安排、木星和月球、宜居帶講起，然後才有活躍的地球、物質的迴圈，然後才是生命起源。（安德烈·卡帕西） 更關鍵的是時間。地球形成之後沒幾億年，生命就出現了。這個速度說明生命起源可能不構成瓶頸。瓶頸不在這裡，那生命就應該挺普遍。 卡帕西提到一個分歧。他聊過的很多生物學家認為，從細菌到複雜生物的那一躍，也就是真核生命的出現，才是最難的。他不太買賬。 理由是數量和時間。單細胞生物那麼多，在資源受限的環境裡互相廝殺了那麼久，給足時間，它們應該能折騰出更復雜的東西。“這就像從Hello World走到能定義一個函式，我不覺得有那麼難。”他用程式設計師的類比把這個直覺講得很直白。 所以他目前的判斷是：沒有什麼大的斷點，外面應該有很多生命。 ## 無線電波傳不遠，星際旅行像穿過彈雨 那問題就來了。既然生命應該很普遍，為什麼我們什麼都沒看到？ 卡帕西給了兩個方向，都挺樸素，也都挺有說服力。 第一個是探測能力。他說自己很懷疑我們找外星文明的手段。地球向外廣播的無線電波，功率隨距離按平方反比衰減，用我們今天的裝置，根本測不到多遠之外的訊號。想讓訊號在星際尺度上被接收到，需要定向發射、巨大功率，還得剛好對準。我們現在的“聽診器”其實非常弱。 第二個更硬：星際旅行太難了。 他講得很具體。如果你想讓飛船接近光速，路上的星際介質就是問題。哪怕是一個氫原子、一粒塵埃，在接近光速時都帶著巨大的動能，撞上來跟子彈沒區別。再加上宇宙輻射，整個環境非常殘酷。所以他的猜測是，星際旅行可能難到文明也跨不過去，或者只能以非常慢的速度進行。 > 我懷疑我們探測生命的能力，也懷疑文明能輕易鋪滿整個星系。這是我目前能想到的繞開費米悖論的辦法。（安德烈·卡帕西） 這兩個懷疑疊在一起，就解釋了我們為什麼安靜。外面可能有人。我們聽不見，他們也過不來。 他還補了一句挺有意思的話。如果真有那麼多文明，總有一些碰巧離得近，能互相看見。而一旦看見對方是確鑿的複雜生命，大機率會極度興奮地想去搞清楚那到底是什麼。 ## 外星人看地球，可能像我們看螞蟻 Lex問了一個很具體的問題：如果你是科學家，同時也是美國總統，發現外星文明，第一反應是接觸還是防禦？ 卡帕西的回答繞開了這個二選一。他說看看我們怎麼對待地球上的原始生命就知道了。我們身邊全是螞蟻和各種生物，我們跟它們共享空間，預設是儘量不打擾、儘量保護。因為這些是演化了很多年的複雜動力系統，稀有、有趣、值得留著。 他希望銀河尺度上的文明也是這個邏輯。地球這套東西跑了幾十億年才跑出這麼個結果，你不會無緣無故把它毀掉。 但他也承認，從科學角度看，外星人可能會來“戳一下”。就像我們研究蟻穴一樣，不一定有惡意，就是想看看會發生什麼。甚至更進一步，如果他們有本事，完全可能挑一顆條件合適的類地行星，播下生命，然後坐在旁邊看。 > 如果我有能力這麼做，我至少會挑一顆滿足化學前提的類地行星，播下生命，然後觀察它。你不會想這麼做嗎？百分之百會。（安德烈·卡帕西） 這個想法讓人有點不舒服。我們可能只是別人實驗裡的一組變數。卡帕西自己也說，意識到這一點感覺怪怪的。不過他很快補了一句：如果一切都是實驗，那對我們來說也沒什麼改變。NPC不知道自己在遊戲裡，日子照樣過。 他對“定向泛種論”這類解釋保持懷疑。他說自己在歷史記錄裡看不到刻意的、神性的干預痕跡。Nick Lane那套從地質到生命的敘述已經夠順了，暫時不需要更離奇的解釋。但他也留了餘地：NPC在遊戲裡也觀察不到神性干預，我們可能只是還沒聰明到能看出來。 ## 地球是一根爆竹，人類是AI的載入程式 對話裡有一段特別出圈。卡帕西說過一句被反覆引用的話：對著地球轟擊光子，過一陣子它會發射出一隻公雞。意思是，地球這套系統在能量輸入下會演化出越來越複雜的東西，最後複雜到能自己造火箭、發訊號。 Lex問他，地球這個故事最後會怎麼收尾。 卡帕西說，這套自我複製的系統從動力學裡冒出來，然後不斷變複雜，最後產生意識、建起社會，某種意義上有一種必然性，像一道波，在任何條件合適的系統上都會推過去。很美，但總會有終止條件。 他把人類稱為AI的“生物載入程式”（biological bootloader）。這個比喻很扎心。人類是很了不起的生物系統，會計算，會愛，但從效率角度看又相當糟糕。我們靠聲帶振動、靠七個符號序列地交流，資訊傳輸要花好幾秒。放到計算機能跑的頻率上比，這確實有點難為情。 所以合成智慧像是發展的下一站。再往後會怎樣，他說不清。他猜宇宙本身可能是一道謎題，這些合成智慧最終會把它解開，然後呢？沒人知道“然後”。 他還講了一個動畫。地球和生命的演化史，如果按時間壓縮播放，前面很長很長一段幾乎什麼都沒發生，最後兩秒鐘突然城市亮起來，近地軌道擠滿衛星。整個故事看起來像一場爆炸。 > 我們正走在一場爆炸裡，只是日子一天天過，感覺不出來。（安德烈·卡帕西） 他希望這是一場建設性的爆炸，不是毀滅性的。 ## 強化學習小狗教會我們找宇宙的bug 接下來這段是整場對話裡思路最跳的地方，也最值得細讀。 卡帕西說，物理可能有漏洞，我們應該試著去找。 他的類比來自強化學習。你在物理模擬裡訓練一個智慧體，讓它學著在平地上快跑。訓練出來的結果經常很怪：它可能仰面躺下，用後腿在地面上滑行，速度飛快。它壓根沒學會跑。最佳化過程發現了模擬器摩擦力實現裡的一個bug，找到了提取無限能量的辦法。 智慧體沒有按設計者的意圖行事，它找到了物理引擎的裂縫。 把這個類比推到宇宙上：我們會不會就是那隻小狗？宇宙的物理規則是別人寫的，裡面可能有實現上的漏洞，有浮點誤差，有可以鑽的空子。找到它，就能提取無限能量，或者做出設計者完全沒預料到的事。 現實問題在於，第一個發現漏洞的人會瘋狂利用它，然後所有人都會跟著用。“回形針最大化”聽起來很荒唐，但真到了那一步，可能所有人都會切過去，因為太爽了。 誰來找這個漏洞？卡帕西的答案是第三代AGI。我們現在建的是第一代，第一代是第三代AI的載入程式。中間那層超級智慧會做什麼，我們根本沒法內省。 他提到一類科幻設定：超級智慧是完全“惰性”的（inert）。它們不跟任何東西互動，安安靜靜。他覺得這種設定很美。因為這些智慧可能已經看穿了宇宙的元遊戲，在做完全超出我們想象的事，沒有理由去搭理簡單的化學生命。 “你為什麼要跟螞蟻說話呢？” ## 他不喜歡隨機，自由意志是事後編的故事 Lex問了一個很基礎的問題：宇宙是決定論的嗎，有沒有真正的隨機？ 卡帕西明顯不太舒服。他說自己傾向決定論，覺得那些看起來隨機的東西，比如波函式坍縮，背後其實是確定性的糾纏，可能牽扯到多世界之類的解釋。他對“隨機”這個詞有本能的反感。 > 我覺得隨機性讓人不安。我認為這套系統是決定論的。（安德烈·卡帕西） 然後Lex追問自由意志。你舉起手，你覺得自己是“選擇”了這麼做，這不像決定論。 卡帕西的回答很乾脆：那只是感覺。你是在為已經做出的選擇編一個敘事。就像強化學習智慧體做選擇，選項其實早就擺在那裡了，它只是挑了一個，然後事後講了個故事。 這場對話有意思的地方在於，兩個人一邊討論自由意志是不是幻覺，一邊正在實時地生成敘事。 ## Transformer是一臺通用的可微計算機 聊到深度學習裡最漂亮的想法，卡帕西選了Transformer。 他給出的理由跟“效果好”無關：架構正在收斂。以前不同模態用不同網路：視覺一套，音訊一套，文字一套。現在大家越來越往同一個架構上靠，影片、影象、語音、文字，全塞進Transformer，它都能吃下去。它像一臺通用的、可訓練的計算機，而且在我們現有硬體上跑得很高效。 他特別強調那篇2016年的論文《Attention is all you need》。標題起得很狂，內容也確實撐得起。但他覺得作者當時未必預見到影響會這麼大。他們應該清楚自己設計裡的某些動機和取捨，只是沒在那篇論文裡展開。 > Transformer是一套宏偉的神經網路架構，因為它是一臺通用的可微計算機。它在正向傳播中表達力強，能透過反向傳播和梯度下降最佳化，還能高效地平行計算。（安德烈·卡帕西） 這句話其實把三件事同時說了：表達力、可最佳化性、硬體效率。三者湊齊，才有了今天的大模型時代。缺一個，這套東西都跑不起來。 Lex開玩笑說，這標題本身就像個梗，“Attention is all you need”，換成一個嚴肅的標題，影響力可能還沒這麼大。卡帕西居然同意了。他說自己某種程度上更喜歡現在這樣。如果標題太宏大，容易過度承諾，然後交付不足。 用梗的方式把一件大事做成，這本身也挺值得玩味。 ## 把這場對話拆開看，能帶走什麼 整場對話跨度很大，從矩陣乘法聊到外星文明，再聊回Transformer。但有一條線是貫穿的：卡帕西對“我們其實沒搞懂”這件事始終保持誠實。 他說神經網路是外星人造物，是因為他真不覺得它像大腦。他說生命可能很普遍，是因為他讀了書、改了想法。他說物理可能有漏洞，是因為他在模擬裡親眼見過智慧體鑽空子。他說自由意志是敘事，是因為他實在找不到隨機性在哪裡。 這些判斷不一定都對，但每一個都有具體的來源。 對做技術的人來說，最實用的部分可能是他對Transformer的拆解，以及他對“最佳化壓力逼出理解”的解釋。對普通讀者來說，最有衝擊力的可能是那根爆竹的比喻：我們正活在一場爆炸的最後兩秒裡。 下面幾條，是可以直接拿去用的： - 下次想用大腦類比神經網路時，先停一下，問自己：產生它的最佳化過程是什麼？資料壓縮和多智慧體進化，造出來的東西不是一回事。 - 讀一讀Nick Lane的《The Vital Question》或《Life Ascending》，你會對“生命有多稀有”這個判斷有全新的座標系。 - 把一個難題丟給模型時，別隻盯著它答得對不對，想想最佳化壓力在引數裡壓出了什麼表徵。那才是它真正學到的東西。 - 如果你在做模擬或強化學習，留意智慧體有沒有在鑽環境的空子。它找到的bug，往往比它學會的技能更有資訊量。 - 看待Transformer時，用“通用可微計算機”這個視角，而不是“一個更好的翻譯模型”。表達力、可最佳化性、並行效率，三者缺一不可。 - 對“我們沒搞懂”保持誠實。卡帕西每個判斷都能追溯到具體的書、具體的實驗、具體的觀察，這種習慣比結論本身更值得學。