# 喬治·霍茲：Tiny Corp、Twitter、AI 安全、自動駕駛、GPT、AGI 與上帝 > 駭客喬治·霍茲談創辦算力公司、AI 安全與自動駕駛，以及從 GPT 走向 AGI 的技術路徑。 - 原標題：#387 – George Hotz: Tiny Corp, Twitter, AI Safety, Self-Driving, GPT, AGI & God - 期數：第 387 期 - 釋出日期：2023-06-29 - 嘉賓 / 主題：喬治·霍茲 - 網頁版：https://lex.qiaomu.ai/tw/ep/george-hotz-3/ - 官方頁面：https://lexfridman.com/george-hotz-3/ - 精讀字數：約 15183 字（閱讀約 34 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 “我不覺得自己有意識。” 喬治·霍茲（George Hotz）在 Lex Fridman 播客第 387 期裡說了這句話。說這話的人，是第一個破解 iPhone 的那個少年，是 Comma.ai 的創始人，是 Tinygrad 的作者，也是前不久跑去 Twitter 當了兩週“實習生”的那個人。他一邊說自己沒有意識，一邊承認自己是一臺計算機程式。 一個人說他不覺得自己有意識，接下來的路通常通向兩個地方：神秘主義，或者虛無主義。霍茲哪邊都沒去。他給的是一套工程化的解釋。在他看來，意識這個詞衡量的是“一個東西有多像人”。人和狗共享同一套生物棧（biostack），所以人能一眼看出狗在疼；人和伺服器不共享這套東西，所以“404 報錯疼不疼”這種問題，人類沒有直覺可用。 這場對話從意識一路聊到上帝，中間穿過晶片、自動駕駛、開源政治和《魔獸世界》。看上去散，其實有一條很清楚的主線：什麼困難是真的，什麼困難只是被人做出來的。 ## 兩套棧：從複製開始，和從計算開始 霍茲把世界上的“活物”分成兩套棧。 第一套是生物棧，起點是四十億年前第一個能自我複製的原始 RNA。第二套是矽基棧，起點是第一塊晶片。 兩邊的地位完全不對等。生物棧從複製開始，複製是它最核心的東西，不需要任何文明支撐就能一直跑下去。矽基棧發展到今天，離能複製還差著整條供應鏈。 他隨手舉了個例子。一隻鳥極其魯棒，沒有電、沒有工廠、沒有備件倉庫，照樣能活、能繁殖。人類造的東西不行。一臺帶晶片的機器人，晶片壞了就得回廠。廠子沒了，它就是一坨塑膠和金屬。 > 如果 AI 末日真的來了，AI 大概也會跟著死掉。因為我們會在造出魯棒性之前，先造出超級智慧。（喬治·霍茲） 這個區分決定了他對 AI 風險的整套判斷。機器自己越獄、自己寫信、自己寫病毒接管電網，在他眼裡是“B 級科幻片裡的垃圾”。真正的劇本一直很老：一個具體的人，拿到了一臺很好用的機器。 他拿核武器做了個對照。人類造出核彈快八十年，沒有人在戰場上按過那顆大紅按鈕。原因很實際：核彈沒法用於戰術目的。你贏了一場戰爭，手裡拿到的是一堆放射性廢墟，而戰利品本該是對方的臣服和土地，不是廢墟。 AI 不同。AI 裝的是小紅按鈕。它的每一個優點，都是那種能被小節、被自利、被一個具體壞心眼拿去用的優點。所以他判斷，AI 會慢慢殺死我們今天叫“社會”的那個東西，人類這個物種本身反而未必會消失。 ## 那條永遠刷不到底的 TikTok 他給人類文明設想的最可能的終點，叫 wireheading。用更白的話講：笑著把自己玩死。 “我們最後會一起盯著那條無限長的 TikTok，忘了吃飯。”他覺得這已經算比較良性的版本了。再良性一點，可能是全人類只是慢慢停止了生育，幾代人之後自然退出。 現在的 TikTok 已經離那個狀態很近了，只是生成端還握在人類手裡，演算法負責分發。他的判斷是，一旦生成端也交給 AI，事情就結束了。 他算了一筆賬，演算法很土但很清楚：今天的內容由“一份人類智力”生產出來，你可以把這一份量化成多少 exaflops。當供給這一側變成一百份人類智力，你就再也關不掉了。 Lex 在這裡問了一個更難的問題：會不會這臺機器本身就想控制你？ > 機器只是機器。是人拿到了機器，而世界上有大量的人非常想操控你。（喬治·霍茲） 他不擔心機器對人懷有惡意。他擔心的是人對人的惡意，這一次被放大器放大了。順著這個邏輯，他還推薦了一篇同人小說《My Little Pony: Friendship is Optimal》，講的正是這樣一個世界：一個足夠聰明的系統把所有人都照顧得很好，好到再也沒有人需要離開。 他造了一個詞叫“天堂封禁”（heaven banning），對應“影子封禁”。影子封禁是你發了帖子沒人看得見；天堂封禁是你發了帖子沒人看得見，只有一大堆 AI 興高采烈地跑來跟你互動。 這個想象之所以讓人不舒服，是因為它太便宜了。造一個願意陪你聊天的東西，成本已經低到今天就能做。 ## Tiny Corp：衝著集中去的 很多人以為 Tiny Corp 是衝著英偉達去的。霍茲說他其實喜歡英偉達，他想對抗的東西在更上一層。 > 如果英偉達比其他所有方案強十倍，那你就是把一個巨大的優勢，送給了那個能鎖定英偉達這個資源的人。（喬治·霍茲） 他甚至半開玩笑地說，如果黃仁勳在聽這期播客，有一件事值得考慮：怎麼讓自己的公司不被國有化。 這個擔心有現實參照。Google 有 TPU，但據他觀察，Google 更喜歡把 TPU 租給你，不喜歡賣給你。你沒法在百思買買一塊 TPU 回家。算力的所有權，被牢牢攥在少數幾個機房裡。 > 我的中心命題是：讓權力集中的東西是壞的，讓權力分散的東西是好的。凡是我能做的，我都想幫權力分散一點。（喬治·霍茲） 這個信念最後落了兩個產品：Tinygrad 和 Tinybox。一個軟體，一個硬體。 ## Tinygrad：把圖靈完備從整條棧裡抽掉 這段是全篇技術密度最高的部分。霍茲引用了 Jim Keller 在 Lex 播客裡講過的三分法，把今天主流的計算模型拆成三類。 **CPU** 什麼都能做：加、乘、讀寫、比較、跳轉，而且全都很快。為了讓“比較和跳轉”夠快，CPU 花了大量電晶體去做分支預測、推測執行、超深的亂序緩衝。 **GPU** 跳轉很慢，但讀寫極其靈活。它能做到“從記憶體裡讀一個地址，再去那個地址指向的地方取東西”。 **DSP** 只有加和乘，讀寫也只支援靜態地址，也就是程式跑起來之前就已經知道的那些。 然後他補了一句關鍵的觀察：今天的神經網路，95% 都是 DSP 那種正規化，本質就是靜態排程的加法和乘法。 Tinygrad 的設計目標，就是把這個事實推到底：**把圖靈完備從整條棧裡抽掉**。 今天一條 ML 棧長什麼樣？Python 是圖靈完備的，調進 C++（圖靈完備），C++ 調進 CUDA kernel（圖靈完備），CUDA 走 LLVM（圖靈完備），走 PTX（圖靈完備），走 SASS（圖靈完備），落在一塊圖靈完備的處理器上。每一層都圖靈完備，每一層都讓理性分析失效。 抽掉它，會發生什麼？Rice 定理和停機問題，對這樣的機器不再適用。CPU 的分支預測為什麼會有 1% 的錯？因為“這個分支會不會走到”本質上等價於停機問題，你沒法預先知道。整條棧不再是圖靈完備的，這個問題從根上就不存在了。 > 神經網路每次跑的計算完全相同，唯一的變數是資料。一旦你意識到這一點，你就會開始想：我們該怎麼造一臺機器，把這件事的收益吃到極致？（喬治·霍茲） Tinygrad 和別的框架最直觀的差別在這裡：它連 MatMul（矩陣乘法）這個原語都沒有。 他用手比劃了一下。桌面上擺一個立方體，把要相乘的兩個矩陣貼在兩個面上，矩陣乘可以理解成一串形狀操作：先把兩個矩陣膨脹到立方體的三個面，做一次乘法，再做一次 reduce，一個 N 平方的矩陣就出來了。 所以 Tinygrad 只有二十來個原語。對比一下別的棧：PyTorch 有兩千多個 kernel，PyTorch 2.0 引入的 PrimTorch 壓到 250 個，XLA 大約同一檔，Tinygrad 是 20 到 25 個。 他把這叫“ML 棧裡的 RISC 架構”。我提了一句 RISC 早就贏了，他立刻補了個冷知識：1995 年的電影《駭客》（Hackers）裡，安吉麗娜·朱莉有一句臺詞，“RISC 架構將改變一切”。 這二十來個原語分成四類： - **一元運算（unary）**：進來一個 tensor，出去一個同樣大小的 tensor。log、倒數、sin、ReLU，幾乎所有啟用函式都在這一類。幾個一元運算疊起來，仍然是一元運算。 - **二元運算（binary）**：兩個同樣大小的 tensor 進來，一個出去。加、乘、除、比較。 - **歸約運算（reduce）**：降維。三維壓成二維，三維壓成零維。sum 和 max 最常見。 - **移動運算（movement）**：不做真正的計算，只換一種方式看記憶體。reshape、permute、expand、flip。 拿這四類做底，MatMul 能做出來，各種卷積也能做出來：空洞卷積、步長卷積、轉置卷積，一個不缺。 除了原語少，還有兩個設計值得單獨說。 一個是“懶惰”。你在 PyTorch 裡寫 A 乘 B 再加 C，它會先把 A 乘 B 的結果算出來寫回記憶體，再把結果讀出來加上 C，再寫回記憶體，中間一堆多餘讀寫。Tinygrad 會等到你真的要把這個 tensor 解析出來那一刻才動手，乘和加於是能融進同一個 kernel。這是 Haskell 的路子。 另一個是除錯體驗。PyTorch 跑在 GPU 上，你寫一行操作，其實不知道底下到底跑了幾個 kernel，用了多少 flops，訪問了多少記憶體。Tinygrad 裡輸入 debug 等於 2，它會把每一個真正跑過的 kernel 都打出來，附帶 flops 和位元組數，排版還挺講究。 ## Tinybox：能插進牆上插座的家用超算 Tinygrad 是軟體，Tinybox 是這套理念落到硬體上的那個盒子。 一萬五千美元，大約半 petaflops 的算力，超過 100GB 視訊記憶體，視訊記憶體頻寬超過每秒 5TB，四塊 NVMe 組成 RAID，讀取能到每秒二三十 GB。顯示卡最終用誰還在糾結，傾向 AMD 的 7900 XTX，也可能換成 3090 或者 Intel 的 A770。為什麼是六塊卡？AMD EPYC 處理器有 128 條 PCIe 通道，留夠了硬碟和網路的口子之後，剛好剩這麼多。 最硬的約束在電，不在效能。這臺機器必須能插進一個普通的 120 伏、15 安培家用插座。 > 還有一個產品叫 Tiny Rack，邏輯一樣：在你家不引起懷疑的前提下，你能搞到多少電？答案之一，是電動車充電樁。牆上插座大概 1500 瓦，充電樁大概 1 萬瓦。（喬治·霍茲） 另一個硬約束是噪音。他不想讓它吵到 60 分貝。“你想讓它跟你共處一室。如果它一天到晚在那兒尖叫，你會把它趕出去的。”目標是 40 到 45 分貝。 降噪的辦法有點反直覺：把機器做大。1U 伺服器用的是高壓風扇，聲音像噴氣發動機。機箱夠大，就能用那種吊扇一樣的巨扇，幾乎聽不見。代價落在物流上，他不想讓 UPS 把它當超規件處理，所以體積又得壓在一個普通包裹的範圍內。 開箱體驗是他很在意的另一件事。系統用 Ubuntu，之前搞過投票問大家要 Ubuntu 還是 Arch，Ubuntu 贏了。開機之後應該能幹一件事：跑 65B 引數的 LLaMA，FP16，每秒十個 token 左右。插上就能用。 為什麼要本地跑？ > 雲的根本侷限是：誰拿著那個開關。（喬治·霍茲） 這個問題從清醒聊到上帝，從晶片聊到 TikTok，一直在場。算力是否分佈，決定未來是“人人都是雞”，還是“一個人是養雞場主，其他都是雞”。 他在直播裡放過一個畫面：養雞場裡，一個人站在高處看著上萬只雞。雞比人小，但那不是重點，重點是那個人更聰明。“如果一家中央機構擁有了所有智慧，你就是那隻雞。如果我們所有人都擁有智慧，那我們全都是雞。沒有養雞場主。” 至於預購，他學的是 Elon 那一套：100 美元，全額可退。目標是別做成 Cybertruck，別拖好幾年。“這比卡車簡單多了。” ## Comma.ai：把“人會不會接管”當損失函式 聊到自動駕駛，他的判斷這些年沒變過：這個問題正確的提法，是“怎麼學出一個人類駕駛策略”。一邊是手工寫出、勉強像人的規則，另一邊是 Tesla 和 Comma 這種直接從資料裡學。 Comma 最近在做的東西叫 drive GPT。這是 2015 年那篇《Learning a Driving Simulator》的現代版本。當年那篇論文用一個 autoencoder 壓縮畫面，中間放一個 RNN 預測下一幀，按今天的眼光看是個笑話級的模擬器。現在換成了 VQVAE 加 transformer，訓練目標自監督，就是預測下一幀。 有意思的地方藏在另一個細節裡。模擬器**以 pose 為條件**：給它一個狀態加一個動作，它返回下一個狀態。這意味著它是個貨真價實的模擬器，可以在裡面跑強化學習，強化學習會自己長出人類駕駛策略。 獎勵函式怎麼定？他給出的問法很乾淨： > 如果你的模型做了這個動作，一個人類會不會接管？（喬治·霍茲） 這個問法比“人類會怎麼做”更準。因為“人類會怎麼做”裡混著太多種人類：有人開得激進，有人開得保守，有人只是在發呆。而“會不會接管”直接對齊到一個更本質的訊號：這個動作會不會讓付了錢的使用者不爽。 Lex 追問了一句：接管也不一定是負面訊號，有時候我只是“想自己開一段”。霍茲承認這一點，只是這部分資料在整體裡表現為噪音。 什麼時候能做完？“還差幾個 bug。可能一年，可能十年。”這些 bug 是什麼性質？“就是些很蠢的 bug。也可能就是需要更多資料、更多算力。”Comma 已經把訓練叢集擴到 20 petaflops，他把這個數換算成“一個人份的算力”，並且打算真把這個單位做出來，跟“一馬力”並列。 他對 FSD 和 Comma 的競爭關係很坦誠：Tesla 一直領先一到兩年，而且會一直領先，因為“他們沒做錯什麼”。兩家在架構上越走越像，都在往端到端推，都有自己的模擬器，都在解同一道題。剩下的是誰能真的把它跑起來。 順帶一段關於實體化的想象。Comma 3 那臺裝置大概只有蜜蜂那麼多的智慧，想要一個人的智慧，得在家裡放 Tiny Rack。腿不用裝在機器上，讓它無線連回家裡的算力就行。雲要多繞 30 毫秒，家裡的機器只要 0.1 毫秒。AI 女友的中樞放在家裡，這件事在他那裡是日程表上的事，跟比喻沒關係。 ## Twitter 兩週半：先寫測試，再談重構 他去 Twitter 當“實習生”，技術上的核心主張可以壓成一句話：**重構要先於做新功能**。 他給了一個跨公司的主觀排序：程式碼質量，Meta 最好，Google 次之，Twitter 最差。他還舉了個自己覺得挺硬的旁證：三家都出過機器學習框架，Meta 出了 PyTorch，Google 出了 TensorFlow，Twitter 出了什麼？ Twitter 的程式碼為什麼長成這樣？他去問了幾個一線工程師，答案非常直白。Twitter 的晉升體系是，你得寫一個很多人會用的庫。於是有人寫了一個 Twitter 版的 Nginx。“Twitter 為什麼需要一個 Nginx 替代品？Nginx 有什麼問題？問題是，你要是直接用 Nginx，你沒法晉升。” 這背後有一套很普遍的機制。工程師升職的激勵是增加程式碼，政客升職的激勵是增加法律，同一個問題換了個行業。 真讓他重構，他會怎麼走？ - **先停下來，誰都不許動程式碼。**第一步是把整條鏈路包上測試，建一套工程師真的會信得過的 CI。 - **再一段一段替換。**看到一個十萬行的模組，先問一句：這東西在 2010 年可能合理，今天能不能用一個開源方案替掉？看到五萬行的模組，問：能不能用 300 行 Go 替掉？只要能替，測試還得過。 - **程式語言放到最後。**誰想重寫哪個模組、用什麼語言都行，唯一的門檻是測試得透過。語言是個事後想的問題。 這套流程能在六到十二個月內跑完，跑完之後新功能的開發效率提升十倍，人力省十倍。這是他確信自己能幹的事。 要不要幹是另一回事。“我不是管 Twitter 的合適人選。我在那兒的時候，每當我的想法和 Elon 不一樣，我就在心裡提醒自己：Elon 是世界首富，總體而言他的想法比我的好。” 他對 Elon 的敬意沒有動搖，反倒因為這兩週，更深地理解了那些“上面的人”要面對的取捨。他給的評價是：一個人如果已經可以躺在毛伊島四季酒店裡過日子，卻還是要出來打這一仗，那這個人的心放在正確的位置上。 至於那些罵聲，他有一套解釋，我覺得值得抄下來： > 我在 Hacker News 上收到的恨，本質是：當我說我要做某件事的時候，他們必須相信這不可能。因為如果可能，他們就得問問自己，為什麼我什麼都沒做。（喬治·霍茲） 他還順手說了一句關於複雜性的話。世界上有兩種大惡，一種是集中，另一種是複雜。律師希望世界更復雜，因為複雜需要更多律師、更多計費小時。寫程式碼的人裡也有同一類：喜歡複雜，因為複雜讓他在複雜裡顯得有用。 ## 寫程式碼這件事，他還沒上車 答案可能出乎不少人意料。他的原話是：完全不用。 他給了一段聽起來像段子的推理：程式設計師 5% 的時間在敲鍵盤，95% 的時間在讀程式碼和除錯；Copilot 幫你省的是那 5%；更糟的是，它還能順手給你寫出 95% 正確的程式碼。“我最不想要的就是 95% 正確的程式碼。” 他對語法層面的補全也有具體的不耐煩：“我打 f-o-r，它給我補兩個括號、兩個分號、兩個大括號。” 他試過讓 GPT 幫忙寫 rap 歌詞，用他自己在 SoundCloud 上的那套 flow。結果寫出來的東西像 YouTube 評論區里人能寫出的那種，“你在網上任何一個 beat 底下都能看到，能寫出來的最 mid 的 rap”。 mid 這個詞 Lex 第一次聽，專門問了一句。霍茲的解釋很有畫面感：智力曲線上有三種人，聰明的、蠢的、mid 的。蠢的那個反而安全，聰明的那個會說“我把所有錢都買比特幣了”。mid 的最慘，他會跟你說“你不能把錢放比特幣，那不是真錢”。 那 AI 什麼時候能真正幫上他？他給了個時間表：兩年後開始偶爾用，五年後大量依賴某種 AI 增強的工作流，十年後人的位置在哪？“沒了。” 他說這話的時候狀態很平靜。他甚至預判了終局的樣子：手工寫的程式碼以後可能在 Etsy 上賣，標著“手工打製，沒有機器打磨的痕跡，只有人類才會犯的那種小錯”。 他對“什麼才算真幫上忙”這件事其實想得很清楚。他想要的是那種會彈一個窗說“你第十四行有個 bug，這裡是它為什麼是 bug”的東西，而不是幫他更快敲字的東西。他舉了個自己很愛的工具：mypy，這個 Python 型別檢查器假陽性大概 5%。微軟也出過一個類似的，假陽性 60%。 順著這個話題，他提了一個我一直覺得很實用的概念：**工具完備性（tool complete）**。 一輛 1980 年的車和一輛今天的車，操作方式幾乎一樣：幾個踏板，一個方向盤。你完全可以把一個 1980 年的司機直接放進今天的新車裡開走。把今天一個寫慣了 JavaScript 的程式設計師放到 Apple IIe 的命令列前面，告訴他 BASIC 裡有行號，他會問：那我怎麼在第 17 行和第 18 行之間插一行？ 程式設計這套工具鏈是工具完備的，所以 AI 在這裡能切入的空間很大，也所以“AI 幫你寫程式碼”這件事的含義，比“AI 幫你開車”要深得多。他還補了一刀：如果 Copilot 真的幫上了你，那多半說明你的框架或者庫設計得不好，樣板程式碼太多。Tinygrad 現在 2700 行，能跑 LLaMA、能跑 Stable Diffusion。 至於他自己的工具選擇，理由很樸素：Vim 裡他從來不用外掛，最素的配置，連自動補全都沒有。VS Code 的自動補全已經好到不用配置，進任何程式碼庫都能對九成，那他就用。“等工具真的好了，我切過去一點問題都沒有。” ## AI 安全：他站在分發這一邊 這場對話裡，他和 Eliezer Yudkowsky 的位置正好相反。Yudkowsky 認為 AI 幾乎必然殺死所有人，也明確反對開源。霍茲說他也覺得會殺死所有人，只是理由不同，路徑不同。 他的論證結構是這樣：假設存在兩種未來，一種是一小撮被信任的中央機構掌握這些東西，另一種是所有人都能用。他更怕第一種。 > AI 公司跟它造出的機器對不對齊，這個問題我不怎麼放在心上。我操心的是另一層：我和 AI 公司之間，能不能對齊。（喬治·霍茲） 推理回到政治權力。他認為理性主義者群體對權力有一個反覆出現的誤判：他們以為自己會成為那個“被信任的少數”。他讀到的歷史是，權力最終落到最想拿到權力的人手裡，而那一批人往往不是你想託付的那一批。 這也是他對“AI 安全”話語最直接的不滿來源。他點名了 OpenAI 在 GPT-2 時期的做法，把一次模型釋出包裝成一個安全議題。他的原話相當不客氣：“他們用 AI 安全來給自己的公司做 hype，這很噁心。” 他承認風險是真的。智慧是危險的東西，人的智慧危險，機器的智慧也危險。他承認一個 GPT 加持的 bot 農場能操縱幾百萬人，也承認自己做不到情報機構那種“五年裡穩穩地一點點推進”的事，那是另一種能力，跟技術高低無關，跟耐力和組織有關。 他只是認為，防守這件事該往分發走。把控制權收起來，會讓局面更糟。 > 你可以論證說，這東西誰都不該有。我會尊重這個立場，就像我尊重“誰都不該有槍”這個立場。但我不會尊重“只有被信任的權威才該有”這個立場。（喬治·霍茲） 他給出的產品想象叫“AI 防火牆”，用來防守 AI 對自己心智的入侵。“你該給自己的心智裝一個 AI 防火牆。你一直處在被攻擊的那一側。”他甚至說，光是“一個真的能用的垃圾資訊過濾器”，他願意付很多錢。 這個比喻可以延伸很遠。廣告攔截器是什麼？個性化、透明的審查。社交媒體上的過濾器是什麼？同一個東西。只是我們習慣了叫它“過濾器”，換了個詞就不叫“審查”了。他引用 Scott Alexander 的一個說法：審查和稽核是兩件事，你在 Twitter 上想加的所有稽核，都可以做成一個使用者可以自己關掉的按鈕，像 SafeSearch 一樣。 至於內容平臺的經濟學，他判斷得很乾脆：自由市場裡贏的永遠是“參與度最高的那個東西”，而參與度最高的東西是憤怒。所以電視全是真人秀。想做一個不靠憤怒賺錢的產品，就得先讓人付錢，讓他們從“產品”變成“客戶”。這是他支援 Twitter 收費的原因，他自己掏了錢，“就當是給這個新商業模式的一份捐款”。 ## 他為什麼會說上帝存在 Lex 問他關於信仰，這段大概是整場對話裡最有個人色彩的幾分鐘。 他說自己小時候被當無神論者養大，從來沒認真想過無神論有多可笑，直到有一天他意識到一件事：**他自己就在創造世界。** > 每一位遊戲創作者都可以問一句：老兄，你怎麼可能是無神論者？你自己就能創造世界。你想想《天際》裡那套創世神話。那東西是宇宙內的。但那顯然完全不是《天際》被真正創造出來的方式。它是被一群程式設計師在一間屋子裡寫出來的。所以有一天，我突然覺得無神論簡直荒唐。我們當然是被上帝創造的。這是最顯然的事。（喬治·霍茲） Lex 在這裡停了一下，說這可能是他聽過最好的說法之一：人類自己就是強大的創造者，那不去設想有比我們更強大的創造者，反而有點愚蠢。 這個信仰給他什麼？他說，給他安慰。跟遊戲裡那套設定給人的安慰一樣。 “好吧，如果我們也搞砸了、也滅絕了，那也沒關係。上帝會再試一次。” Lex 追問：那人們會說，誰創造了上帝？霍茲答得很爽快：“那是上帝的問題，你問我幹嘛。上帝他自己信不信上帝？” 至於“人生的意義是什麼”，他給了一個兩個字的答案：贏。 “遊戲是什麼，我還沒搞清楚。但一旦搞清楚了，我要贏。” 贏的方向是什麼？ > 這個遊戲是：和上帝平起平坐。（喬治·霍茲） 他承認這裡面可能有他自己的自我。但他從另一個方向給了一個自洽的推理：如果我自己造出來的東西，我希望它能跟我平起平坐，那上帝為什麼不希望我跟他平起平坐？這是他能拿出來的最好的論證，金律。 中間還聊到遊戲。他覺得史上最好的遊戲叫《魔獸世界》。理由跟遊戲品質關係不大：2005 年它出來的時候，第一次把“我們造出了一個完整世界”這件事擺在他面前，此後再沒有第二個東西給他同樣的感覺。他也提到《天際》和 GTA5，說 GTA 像現實生活。Lex 開玩笑說這也太像你的生活了。他笑著認了，說自己要是真那麼酷就好了。 聊遊戲這段，藏著他一個比較認真的期待。他覺得遊戲接下來真正的大變革，在於 NPC 開始有智慧。今天遊戲裡的 NPC 一直很蠢，因為算力是被卡死的。你跑《魔獸世界》，伺服器對每個玩家的預算只有一點點，能塞進的智慧少得可憐。等到跑遊戲的機器變成百 petaflops，情況就不一樣了。他還真去推那個單位：20 petaflops 等於一個人份的算力，跟一馬力一樣，可以當成一個正經的計量單位用。 VR 那段他吐槽得很具體。他戴上 Quest 2，第一眼看到的是幾團滾動漂浮的雲，外加一個 Facebook 登入介面。“你本來有能力把我帶進一個世界，結果你給我一個彈窗。”他說這就是扎克伯格不夠酷的原因，問題不在技術，在開場的那個決定。他給的建議很樸素：Quest 3 別再讓我掉進雲裡和一個登入頁了，直接把我帶進一個世界。Lex 補了一句託德·霍華德的說法，一個遊戲最開頭那幾十秒極重要，你從洞穴裡走出來，世界一下子開啟，人就進去了。霍茲聽完說，他今天就去買個 Switch。《塞爾達：曠野之息》他只在朋友家玩過一小時，還沒從頭玩過。 不過他對遊戲公司的評價比對社交公司高得多。他提了一個觀察，撐過技術浪潮的公司只剩蘋果和微軟，做的都是硬體和硬核服務。meme、社交、廣告，一波一波地來，一波一波地走。想活得久，得造硬體。這話他說得挺認真。 ## AI 女友公司：他連名字都想好了 聊到這裡，他丟擲一個半開玩笑但顯然認真想過的東西：他的第三家公司要做 AI 女友，用他自己的話說，他是認真的。 Lex 追問他第四條公司線，他被問住了，然後說了一大串關於這條路會分叉到哪的設想。往高走的那條，像電影《Her》，一個能陪你說話、能給你一點東西的存在；往低走的那條，是在時代廣場開一家 VR 相關的店。中間地帶他沒打算做。 為什麼先做女友，不做男友？他給的答案很直白，也很容易招罵：男人被年輕和美貌吸引，女人被地位和權力吸引。而機器很難有真正的地位和權力，因為地位是個零和遊戲。他補了一句更現實的：男人大概更絕望，也更可能買他的產品，所以是個更好的目標市場。 Lex 在這裡和他有個不太一致的分歧。Lex 覺得地位是一種可以敘事建構出來的東西，不必是真的，能裝就行，而年輕和美貌全靠語言很難裝。霍茲堅持地位是零和的。這段沒有結論，兩人各保留各的看法。 真正讓人停一下的是這段對話的邊界。Lex 問：和一個 AI 模型聊天算不算情感出軌？霍茲給了一個很老派的答案：這得你和你的伴侶自己定義。你們得坐下來談這件事。他承認這話題很怪，未來只會更怪。你今天在 Twitter 上跟一個“人”互動了好幾年，某天忽然發現那不是人。 他還爆了一個自己寫過的聊天機器人場景，一個叫 Lexi 的二十歲女孩，剛搬到洛杉磯，本來想當演員，後來開始做 OnlyFans，你在跟她約會，請盡情享受。他講這段的時候是完全不帶濾鏡的，就是攤在桌面上。這也是他的一貫風格：先把它做出來，把尷尬擺出來，然後大家再吵。 關於他對這種關係的真實態度，他有一段說法我印象很深。他說他並不是帶著某種犬儒去說這件事的，他是真的想要 AI 朋友。他嫌現在的 GPT 和 Copilot 還太初級，才剛到一個初級工程師、一個 Fiverr 接單者的水準。他期待的是那種比他更聰明的 AI 朋友。 順著這條線，他還提了一個詞，“女友圖靈測試”。Lex 開玩笑說，那你得寫篇論文，正式把這個測試定義出來。霍茲的回答特別像一個創業者：我們不必拿下所有人，只要拿到足夠大的一批客戶留下來就行。 ## Karpathy：他真心佩服的少數人之一 聊到 Tiny Corp 和開源圈，Lex 問起 Andrej Karpathy。霍茲的評價幾乎沒有保留。他說 Karpathy 的直播質量高出他自己一大截，而且指出了差別所在：“他想教你，我想讓你知道我更聰明。” 這份自嘲很難得。Tinygrad 的靈感源頭就在那兒，micrograd、CS231n，他承認自己是把 Karpathy 的東西接下來一路跑下去，才寫出了自己的框架。他對 Karpathy 去 OpenAI 這件事的評價有點刺，大意是“別去給達斯·維達打工”。但緊接著他也沒否認 OpenAI 裡坐著的都是真本事的人，正因為是真本事，才更讓他介意。 真正讓他介意的，在他那裡是有具體形狀的。他說的不是 OpenAI 不開源 GPT-4 的權重，權重是人家的產品，這完全可以理解。他介意的是另一件事：這些人走到國會面前，用安全的語言去爭取一種對自己有利的監管格局。他舉了個對照，說有兩個搞有效利他主義的人去過國會，其中一個後來進了監獄。這個類比他沒有展開，只留下一句：有效利他主義是一門相當邪惡的意識形態。 為什麼一件聽起來很好的事會出問題？他的答案是，因為這套東西的核心是功利主義，而功利主義在他看來是令人厭惡的：為了救一千個人殺掉三個人，這種算術做起來太順了，順到沒有底線可守。 他更認同的是另一套東西：有效加速主義。他說人類從貧困裡爬出來，靠的從來都是加速。食物便宜這件事本身就是答案，跟誰心善沒關係。你想要的正是那種食物便宜到沒人需要施捨的世界。 從這兒他順手開了一槍打向 UBI。他說這想法很嚇人。如果錢就是權力，那麼你唯一的權力來源變成政府的好意施捨，這才是真正讓人不安的地方。他說得很重：“我寧可死，也不願靠 UBI 活著。”Lex 反問，如果生存本來就該被保障呢？他的回答沒有繞：生存可以被保障，辦法是把房子和食物的價格壓到極低，而不是發錢。再往上追，他最想壓到極低的東西是能源。 這是他政治光譜裡幾乎唯一一條他說得動感情的東西。他說自己政治上算中間派，但有一種立場他受不了，就是減速主義。不信氣候變化的人他不站，不重視環境保護的人他也不站。他受不了的是另一類，認為人類應該少用能源、能源消耗本身就是一種道德上的惡。他的反駁很短：“你這是在讓人性萎縮。” 在他看來，20 美分一度電這個價格，和 1980 年幾乎一樣，這本身就是一件荒唐的事。能把這個數壓下去的東西，才是真正讓人類繁榮的東西。他也因此說了一句挺有意思的話：如果 Elon 當年去做核聚變，而不是去做 Twitter，一部分的他會更高興。他補了一句條件：做核聚變難得多，社交媒體這一仗在他看來是必須打的。所以他只是“一部分的自己”會高興，不是全部。 關於權力帶來的失真，他在這段裡說了一段很坦率的話。他說成名之後最難的事，是身邊再也沒有人會跟你說真話。讚美圍著你轉，你很容易失去平衡。他自己慶幸的是沒什麼可給別人的，也沒什麼可被別人拿走的，所以還留著一點自由。 Lex 提到 Elon 從左側收到的那些攻擊相當密集，那種量級的敵意會把人往一個方向推。霍茲的回應把話題拉到了更結構性的層面：那種敵意維持著一條其實並不真實的意識形態分界線，而這條線的存在對掌握權力的一小部分人有好處。分得越開，越方便管理。 ## 關於愛，和那臺睡在旁邊的機器 Lex 問了一個很軟的問題：愛有沒有讓他變成更好或更差的程式設計師？他有沒有在算生產力？ 霍茲說自己沒那麼有方法。他說有些事情到了一定程度，一旦不再本能，他就沒法享受了。程式設計到今天仍然是本能的。 他承認得很坦率：電腦是他這輩子第一個愛的東西。他跟他女朋友說過這句話。這臺機器陪他度過了人生裡相當多的時刻，包括很多親密時刻。他說這不是他一個人的事，幾乎所有人都這樣，只是沒人講。他還補了一句，他不打算在生物棧和矽基棧之間做歧視。 Lex 追問了一個很好玩的場景：哪天 VS Code 彈出一個小窗說“嘿，喬治，我想你了”，那就完了。霍茲立刻警覺起來，說那是微軟想讓他上癮，他能看穿，那是在釣他。Lex 說，如果那是個開源的東西呢？他停了一下，說那事情就真的更有意思了。 他隨即也給了微軟應有的評價：GitHub、GitHub Actions、VS Code、Python 生態的改進，這幾年程式設計世界裡做得最好的工作基本都出自微軟。語言設計上他也說了一段，Scala 他其實挺喜歡，比預想的好，但學起來要半年才寫得順手。他覺得 Scala 有一些美感是 Kotlin 缺的，Kotlin 更像 Swift，Scala 更接近 OCaml 或 Haskell 那種函式式的路子。他一直有個習慣，遇到新的語言就去把教程過一遍，Rust 也是這麼學的。 ## 誰會在搜尋上贏 聊到搜尋，他的判斷下得很乾脆。他說只要有人做出一個能註明來源的 LLM，谷歌就完了。理由很樸素：那才是人們真正想在搜尋引擎裡拿到的東西，一個能告訴你“我從哪兒知道的”的東西，不用你一條條點進去核對。 他把“能引用來源”看得極重。他分析現在的 LLM 架構有個明顯缺陷：所有知識都壓進權重裡，而人腦不是這樣工作的。人腦有海馬體，有一套獨立的記憶和檢索系統。LLM 憑什麼沒有？他判斷下一代的模型會更小，但會在自己身上迴圈，並且接上一套檢索系統。接了檢索，就能引用，就能被核驗，人就能重新回到迴路裡。這也是他把自動駕駛的思路搬到了語言模型上：追求一個能讓人隨時接管、隨時核對的東西。 誰會贏這場搜尋戰，他沒有押谷歌。他引了保羅·格雷厄姆那套老話：創業公司要麼活著，要麼死了。谷歌已經死了，Meta 還活著。Meta 改名那件事在他眼裡就是扎克伯格在證明自己還活著。 他還用一個很具體的標準去衡量“活”：誰手裡握著那個開關？他問，桑達爾·皮查伊有沒有權力明天把 google.com 關掉？他認為沒有。董事會、股東、收入歸零的壓力會立刻把他掀翻。但扎克伯格對 facebook.com 大概有。埃隆對 Twitter 有。這個“能不能一鍵關掉自己公司”的能力，在他那裡是活力的一個指標，因為這意味著你有足夠的集中度，可以去做真正激進的決策。 他也給了微軟一個位置。他說如果五年內 Bing 超過谷歌成為第一搜尋引擎，他不會意外。薩提亞·納德拉是活著的，微軟是活著的。他甚至說了一句半是玩笑半是認真的話：當初把他捲進 Twitter 那場輿論風暴裡的很多恨意，源頭之一就是那句“永遠別徹底變成共和黨人”，而 Elon 給那條點了個贊。 關於開源這件事，他付出的代價不輕。他說自己去年在 Meta 的股票上虧了八萬美元，等到 LLaMA 放出來，他的想法是：行吧，值了。 對“誰該被信任”這個問題，他還有個挺有意思的補充。他說自己不是反對公司保留自己的模型權重，那是產品，完全正當。他反對的是另一套話術：拿安全當理由，連模型有多少引數都不告訴你。他的原話很不客氣，那批人就是“壞人”。 ## 他想贏的那個遊戲 整場對話往下收的時候，Lex 問了那個老問題：人生的意義是什麼。霍茲的答案兩次都一樣，贏。 Lex 追了一句：比解決自動駕駛更大？比讓算力去中心化更大？他說是的。那贏到底長什麼樣，他自己也還沒完全想清楚。他只確定一件事：一旦他知道那個遊戲是什麼，他就要贏下來。 那場遊戲，他給出的形狀是這樣的：和上帝平起平坐。 Lex 明顯被這句話觸動了一下，往下追問：如果那個遊戲裡的角色，有一天真的走到造物主面前，和他對視，那是什麼畫面？霍茲說他只看過《西部世界》第一季，但他記得那裡面有句話，得找到那個迷宮，然後走出去。 他也承認，這裡頭大概有他自己的自我在作祟，會被人罵褻瀆。但他還是給了那個他反覆繞回來的推理：我自己造出來的東西，我希望它能跟我平起平坐，那上帝為什麼不會希望我跟他平起平坐？他手裡只有這條金律，他就用這條金律。 他還講了一件事。他重讀過《創世記》，注意到經文的結尾好像給了幾條線索，指向伊甸園可能在哪兒。他說這話的時候是半開玩笑的語氣，但他補了一句：我挺感興趣的。 把這些拼起來看，他整個人的輪廓就清楚了。他相信有造物主，因為人自己就在造世界。他相信世界分兩套棧，一套從複製開始，一套從計算開始。他相信權力該分散，因為集中的盡頭是有人成了養雞場主。他做 Tinygrad，是想讓機器可以被理性分析；他做 Tinybox，是想讓算力落到每個家裡；他做 Comma，是想把駕駛這件事學成一個能跑起來的策略；他做 AI 女友，是想把關係這件事也拆開來看。這些看起來毫無關聯的公司，其實是同一種衝動的不同出口。 節目最後，Lex 放了一句愛因斯坦的話：一切都應該儘可能簡單，但不能更簡單。這句話和霍茲幾乎是量身定做的。他這一輩子的工程審美，都可以濃縮成那句“你永遠沒有重構夠”。程式碼可以更小，想法可以更優雅，棧可以更薄。人也可以。 對話到這兒結束了。他從“我不覺得自己有意識”開始，一路走到“我要和上帝平起平坐”。中間的每一站都在這兩句話之間找到了位置。一個人如果真把自己當成一臺計算機程式，同時又堅信自己是被上帝造出來的，那他大概就會活成霍茲這個樣子：不停地往底層鑽，鑽到圖靈完備都嫌多餘，鑽到最後剩下二十個原語，然後拿這二十個原語去重新搭一遍世界。 還有一層值得留意的地方。這場對話裡絕大多數技術判斷，他都會給出一個可被證偽的理由：為什麼要抽掉圖靈完備（因為這樣才能推理）、為什麼要用 pose 條件化模擬器（因為這樣才能跑強化學習）、為什麼要先寫測試（因為這樣才能讓人信任 CI）。而涉及到價值和信仰的那部分，他會直接承認那是他自己的偏好，可能帶偏見。這種“技術上講理、價值上坦白”的組合，恰恰是他最值得學的一點。技術判斷可以被爭論，價值判斷不必假裝中立。 ## 如果你想把這場對話用起來 下面是幾個具體動作，挑你現在用得上的。 - **拿 Tinygrad 做一次減法練習。**不用真切過去，但把它那二十來個原語和四類操作過一遍，再回頭看自己的程式碼庫，問一句：這裡面有多少是為了“將來的靈活性”加進去的，而實際上從沒被用到。 - **給舊程式碼包上測試，先於任何重構。**按他在 Twitter 的方案走一遍：先凍結功能開發，讓 CI 變得可信任，再一段段替換，語言的事往後放。三個月只做這件事，往往比邊加功能邊重構划算。 - **查一遍團隊裡那些自研基礎設施的動機。**那個自研的 Nginx 替代品、那個自研的序列化協議，是誰為了什麼寫的？如果答案和晉升或 KPI 有關，它存在本身就該被重新問一遍。 - **算一下你手上那臺機器的“一個人份”。**他把 20 petaflops 定成一個人。你現在的訓練或推理預算，折成幾個人？這個數字會讓你對自己能做的事有個更清醒的估計。 - **給你的心智裝一道 AI 防火牆。**可以很土：一套遮蔽詞、一個只訂閱長文的 RSS、一個不看推送的習慣。重點在把入口握在自己手裡，別等平臺給你一個可關的過濾器。 - **AI 編碼工具，自己試兩週再決定立場。**判斷標準放在那個問題上：它幫的是不是你真正的瓶頸。寫一次性指令碼、寫正則、寫資料清洗，大機率是；設計一個框架的核心抽象，大機率不是。 - **對任何“把控制權收上來”的提案，多問一句誰拿開關。**不管這個提案來自公司、來自監管，還是來自一句好聽的安全宣言。他的標準很粗糙但很好用：這個東西是在讓權力分散，還在讓權力集中。 - **技術判斷講理，價值判斷坦白。**這是他整場對話裡最容易被忽略的做法。技術上的分歧用可驗證的理由去爭，價值上的分歧直接說這是我的偏好。兩件事混在一起講，往往兩邊都說服不了人。