# 喬治·霍茲：破解模擬世界與用神經網路學習駕駛 > 探討現實是否為模擬、能否入侵它，以及用神經網路實現自動駕駛的技術路線與現實挑戰。 - 原標題：#132 – George Hotz: Hacking the Simulation & Learning to Drive with Neural Nets - 期數：第 132 期 - 釋出日期：2020-10-21 - 嘉賓 / 主題：喬治·霍茲 - 網頁版：https://lex.qiaomu.ai/tw/ep/george-hotz-2/ - 官方頁面：https://lexfridman.com/george-hotz-2/ - 精讀字數：約 14785 字（閱讀約 33 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 喬治·霍茲對費米悖論有一個自己的答案：宇宙裡確實存在過其他智慧文明，一個都沒剩下，因為它們都把自己炸掉了。這個答案聽上去像玩笑，但他接著補了一句更冷的話：毀滅世界的智商門檻，每年下降一點。 這位被稱作 geohot 的人，十幾歲破解 iPhone，二十歲破解 PlayStation 3，後來創辦了 Comma AI，賣一臺一千美元的裝置，裝在你家現有的車上，讓車自己保持在車道里。他同時也是那種會在餐廳坐下來，花幾個小時幫陌生人重寫編譯器的人。這期播客聊了宇宙、模擬、加密貨幣、自動駕駛、程式語言和愛情，跨度大到幾乎不像一場對話，但貫穿其中的是一條線：他只對能給他帶來真實力量的東西感興趣。 ## 只有一種活下來的可能 霍茲的判斷很乾脆。銀河系七萬光年。任何能造出馮·諾依曼探測器（von Neumann probe）的文明，這個距離都不算什麼。一艘以亞光速飛行的自複製探測器，幾百萬年就能鋪滿整個銀河系。幾百萬年在宇宙尺度上是一瞬間。 這件事顯然沒有發生。所以有什麼東西攔住了它。 他給出的解釋是：智慧文明活不長。文明發展到某個階段，摧毀自己的能力變得廉價而普及，然後就沒了。他引用了一個說法，毀滅世界所需的智商門檻每年下降一分。技術在做的事情，就是把毀滅世界這件事民主化。 > 密碼學是一個防禦佔優的世界，核武器正好相反。造一枚能分裂成一百枚的彈頭，比造一個能攔截一百枚小彈頭的東西容易太多了。進攻方在那邊有優勢。所以也許我們的未來在密碼學裡。（喬治·霍茲） 這個類比值得停一下。他在說，不同的技術領域有完全不同的攻防結構。密碼學裡防守方贏，因為驗證一個簽名比偽造它容易。核武器裡進攻方贏，因為火箭的軌道計算比中段攔截簡單。人類文明能不能活下來，取決於我們把更多精力放在了哪一類技術上。 至於怎麼發現那些已經消失的文明，他的思路是廢熱。文明擴張就要消耗更多能量，熱力學不允許你消滅廢熱。所以應該能在紅外波段看到異常。前提是他們的物理和我們一樣。他承認這個前提可能錯，但銀河系另一頭的物理定律不會差太多，這是他願意下的賭注。 ## 關於 UFO，所有新聞都是心理戰 聊到五角大樓公佈的那幾段不明飛行物影片，聊到海軍飛行員戴維·弗拉沃（David Fravor）的描述，聊到那些被叫做"嘀嗒糖"的物體如何做出違反直覺的機動，霍茲的回應只有一句： > 我覺得所有那些新聞都是心理戰。（喬治·霍茲） 他提到自己聽鮑勃·拉扎（Bob Lazar）在喬·羅根節目上的講述，說"我信他說的每一個字"，然後立刻補上一句：那大機率是某種 MKUltra 式的東西。他們造了個奇怪的東西，管它叫外星飛船，也許目的就是刺激年輕物理學家的腦子，看看他們能從中想出什麼。 這套邏輯很有意思。他不否認那些現象的存在，他質疑的是這些資訊被放出來的動機。一個情報機構主動洩露的東西，本身就構成一個訊號，而這個訊號的內容未必是它表面上說的那件事。 順著這個話題，他講了一個更狠的觀點。陰謀論這件事本身，可能就是一種武器。 > 我聽過一個陰謀論，說陰謀論是 CIA 在六十年代發明的，用來給真事潑髒水。你去看看那些荒誕的陰謀論，地平說、披薩門，它們的作用是稀釋。中國封鎖了發現病毒的醫生，這是真的。貨幣以前由黃金背書，現在由空氣背書，這是真的。但當滿地被插上旗子的時候，你就找不到那面真的旗子了。（喬治·霍茲） 他講的這個寓言是：妖精告訴你田裡埋著金子，你讓它發誓不拔掉標記的旗子，回頭拿鏟子來，發現滿田都是旗子。這是隱私保護的原型。要保護一段對話，就生成一百萬段假對話，沒人知道哪段是真的。他把這個思路平移到了資訊控制上：過去靠審查，現在靠淹沒。 ## "破解模擬"那場演講到底想說什麼 2019 年他在西南偏南（SXSW）做了一場演講，標題裡帶"破解模擬世界"，之後被大量轉發和誤讀。他這次把話講清楚了。 > 那場演講的重點不在字面上真的去黑掉模擬。那是理論物理，你想要大統一理論，那就先造一個大統一理論出來給我看看。我的希望更多是：你們認真的嗎？你們花時間想的都是些什麼？你明白自己有多小嗎？你真的只是上帝電腦裡的幾個位元組。（喬治·霍茲） 他真正想說的，是人類給自己造的那些遊戲不值得玩。他舉的例子從推特熱搜到卡戴珊，但他真正指向的是經濟。 > 我是資本主義的忠實粉絲。我不覺得我們現在玩的是那個遊戲。我們在玩另一個規則被做了手腳的遊戲。（喬治·霍茲） 他的區分是這樣的：人類造的遊戲分兩種，一種和自然規則對齊，一種不對齊。自然這個遊戲是真的，規則不是人寫的，所以贏它有意義。而自然這個遊戲看起來極其殘酷：大東西吃掉小東西，生物的全部目的就是長大到能嚇住另一個大東西，好和它交配。沒有藝術，沒有音樂，也沒有 Comma。 他不接受這個描述。他認為自然提供的是一個開放世界 MMO，你想玩哪種都行。這話從他嘴裡說出來有點意外，因為整場對話裡他一直在強調贏和力量。但他對開放世界的堅持是認真的。他甚至用《暗黑破壞神》裡刷奶牛關舉例，說玩家們找到了最有效率的經驗值路線，然後所有人都同意了刷經驗值這件事值得投入幾百個小時。他在大學裡就這麼幹過。 他真正批評的，是把手段當成了目的。 ## 永生的目標函式 他說他想要永生。他要的永生，核心是自己選擇死亡的時間。他不接受自然替他做這個決定。 這裡出現了一段這場對話裡最有意思的交鋒。萊克斯提出一個反駁：你對知識的渴望，可能正是生命有限性的副產品。如果時間無限，好奇心會像晨霧一樣消散，那永生還有什麼意義？ 霍茲的回答很工程師： > 那我就改掉腦子裡那個提醒我生命有限的東西。也許讓它告訴我下週就死。我可以接受一定程度的自我操縱。如果問題是我會失去好奇心，那我留幾份自己的備份，偶爾和它們對一下，確認它們還在正確的軌跡上，需要的話讓它們覆蓋我。（喬治·霍茲） 萊克斯接著提了一個更尖銳的類比：電子遊戲裡的作弊碼。一旦你用了作弊碼，遊戲就被毀了，而且這個過程不可逆。 霍茲承認這個感覺他懂，但他的結論是：那隻能說明我們的腦操縱技術還不夠好，把那段程式碼從腦子裡刪掉就行。 這套回答有一種奇特的自信，也暴露了它的邊界。他自己也承認，自我修改的系統會帶來一堆棘手的複雜性，他沒法現在就保證自己將來一定能做對，只能儘量把安全結構放進去。 關於我們是否生活在模擬裡，他的態度是：我不懷疑我們在，但這件事不重要。他只對能給他力量的理論感興趣。模擬理論如果無法證偽，那就沒人該關心。 那什麼樣的證據才算數？他給出的答案是記憶體洩漏（memory leak）。能讀到你不該讀到的記憶體，就說明存在一個可以越界的地方，那就是捷徑。但他立刻補了一句：讀還不是最可怕的，寫才是。哪怕只是寫入隨機噪聲，那也是最恐怖的事。 ## 在餐廳裡三小時寫出的 300 行程式碼 2020 年中的一件事在技術圈傳開了。霍茲在紐約一家餐廳遇到一群做以太坊擴容的工程師，公司叫 Optimism，從 Plasma 分出來的團隊，做以太坊的二層方案。他們卡在一個技術死線上，和 Solidity 到 OVM 的編譯器有關。 要理解這個問題，得先理解以太坊的擴容困境。以太坊上每一筆交易，網路裡的每一臺計算機都要跑一遍。這帶來極強的安全性，也帶來極差的速度。二層方案（L2）的思路是：把計算挪到鏈下，只把結果寫回鏈上。問題在於，鏈下算出來的結果可能是假的，所以需要一套爭議解決機制，比如提交者質押一萬美金，誰證明他算錯了就能拿走這筆錢。 具體到工程實現，二層方案需要一個沙盒，讓以太坊合約在裡面跑。合約裡那些會讀寫的呼叫，比如寫狀態到鏈上，都要被替換成對管理程式的請求，由外層判斷放行還是拒絕。這跟 Chrome 的渲染程序不能直接讀檔案是一個道理，得先向瀏覽器主程序申請控制代碼。 Optimism 的做法是寫了一個叫 Transpiler 的東西，把編譯好的位元組碼反解、改寫、再拼回去。這段程式碼三千行，很難維護，因為你在位元組碼層面做逆向工程。 霍茲聽完的第一反應是：為什麼要改位元組碼，直接在編譯的第一步改不就行了。 他問了對方願意付多少錢，然後寫了一個三百行的編譯器補丁。C++。 別人問他怎麼做到的，他的原話是"你就想一想，然後做出來"。這話聽起來像廢話，他自己也承認沒什麼意義。但拆開看，裡面有一個真實的判斷：當所有人都在下游修補時，往上走一層看看問題是不是本來就不該出現在那裡。 ## 律師是收一千美元一小時的爛直譯器 聊加密貨幣時，他把最能說明問題的一段留給了智慧合約。 > 如果合同出爭議，就由律師來解釋。律師就是一群很爛的、收費過高的直譯器。Python 我付每小時十美分就能跑，用最好的雲機器。律師一小時一千美元。Python 便宜一萬倍。律師每次給的答案還不一樣，Python 基本每次一樣。（喬治·霍茲） 他舉的例子是一個保險箱，裡面放一百萬美元，合同寫著三個人中的兩個同時到場才能開啟。這份合同的有效性完全依賴銀行和律師。如果其中一個人死了，就會陷入遺產糾紛，搞清楚真相的成本高得離譜。換成智慧合約，用密碼學檢查三個金鑰裡有沒有兩個簽名，答案立刻確定。 他說所有企業真正想要的其實是確定性。他提到維亞康姆和 YouTube 的訴訟，說雙方的態度是：這場官司誰贏我們不在乎，你只要告訴我們就行，我們需要確定性。 他也承認"程式碼即法律"要成為普遍接受的現實還很遠。但這個想法的美感在於，它把解釋成本壓到了接近零。 關於加密貨幣，他給了兩個他認為真正重要的創新。第一個是中本聰共識（Nakamoto consensus），一群人透過一個相對直白的演算法達成去中心化的共識，這是 21 世紀最偉大的創新之一。第二個是智慧合約。 還有一個他格外推崇的東西：分叉。 > 2012 年我在我的玩笑應用裡寫過，讓奧巴馬和羅姆尼同時當總統。然後美國人可以選，可以投資其中一個，把流動性從另一個抽走。加密貨幣世界真的有這個。以太坊分叉成以太坊和以太坊經典，你可以把流動性從一個抽出來放進另一個，人們用錢投票。（喬治·霍茲） 他希望公司也能這樣分叉。同一家 Comma，一個閉源版本一個開源版本，看哪個活下來。一個被通用收購，一個繼續當安卓式的叛軍，讓市場來裁決。 至於哪個幣會贏，他說他不猜，也不在乎。他自己站在"比特幣是模因幣"這一邊，理由是當年那場區塊大小的爭論實在太蠢。不過他承認自己在權益證明（proof of stake）上改變過看法，說有很多非常聰明的人在認真思考。 順帶說了一句關於治理的觀察：即使在分散式系統裡，領導者也有用，因為人類需要一張臉。他說以太坊有維塔利克（Vitalik Buterin）這樣的門面，恰恰因為他是真正的天才。而他覺得民主制度出問題的地方在於，冒出來的領導者往往不是系統裡最有能力的那批人。他想要的那種辯論是這樣的：候選人被問第六修正案是什麼，宇宙四大基本力是什麼，2 的 x 次方的積分是什麼。 ## 使命是一句話，後半句才是關鍵 他給 Comma 的使命寫了一句完整的話：解決自動駕駛，同時交付可發貨的中間產品。 前半句容易理解。他把"解決自動駕駛"定義成造一個替代司機的人，這個人坐在駕駛座上，能帶你去任何地方，安全、速度、質量、舒適度都不低於人類。 後半句才是他真正的設計。他在 Hacker News 上看到過一個說法，後來反覆引用：你可以設定任意一個里程碑，達成它，然後離解決自動駕駛仍然無限遠。他加了一句解釋：如果沒有可發貨的產品，你很容易以為自己在前進而實際上沒有。 商業上的誠實來自收入。他的原話是，當有人花一千美元買我們的東西，我們至少為他提供了一千美元的價值，否則他不會買。 Comma Two 的硬體基本就是一臺手機。高通驍龍 820，帶散熱系統，接上車載介面。四個 CAN 介面接到 USB，再接到這臺手機上。車載匯流排協議叫 CAN，簡單得出乎意料，讀寫都靠它。軟體是 openpilot，負責清洗神經網路的輸入、清洗輸出、執行控制、跑感測器、做標定、處理路面傾斜時的反向轉向、把資料傳回伺服器、管理散熱和磁碟空間。 他描述的神經網路很樸素： > 就是一個權重塊。人們說它是黑箱，我說它是一個權重塊，你還期待什麼？（喬治·霍茲） 從上次上節目到現在，他們兌現了一個承諾：橫向控制的策略現在幾乎完全端到端，你可以把車道線關掉，車還能開，只是在高速上稍微差一點。今年他們希望把縱向控制也做成同樣的事。 資料量不是問題，問題是怎麼選資料。他提到一個他喜歡的定義：監督學習裡，權重取決於資料；強化學習裡，資料取決於權重。後者才是他想要的形態。車犯錯的時候自動接管，用那段資料訓練，新模型上線。但目前還沒做到那一步，現在還是靠人。 接管率的數字很具體：現在大約每一百英里一次非計劃接管，一年前是十英里一次。十倍提升，但距離大規模可用還差三個數量級，也就是十萬英里一次。他說十倍提升本身就意味著指數，但指數不意味著明天就有 100GHz 的處理器，和人類最好水平之間的差距仍然很大。 ## 他不做車道線檢測 這裡是他和特斯拉路線分歧最清晰的地方。 特斯拉的做法是把駕駛拆成幾百個任務：車道線檢測、停車標誌識別、紅綠燈識別、可行駛區域分割、車輛行人腳踏車檢測、定位，還有對場景中實體未來軌跡的預測。每個任務都是一個機器學習問題，配一整套資料引擎去挖邊角案例，每個任務都有一個工程師成為世界上這個任務最強的人。霍茲把這個比作：你開一家國際象棋引擎公司，會去僱一個專門管主教的人嗎。 他的判斷是：這是特徵工程。只不過抽象層級更高，叫任務工程。而人工智慧的歷史反覆證明，特徵工程的方法最終會被端到端取代。 他的證據是程式碼長度。Stockfish 的程式碼和 AlphaZero 的程式碼比，後者短得多，優雅得多，寫它花的人力也少得多。 萊克斯提出了一個很好的反駁：AlphaZero 在模擬裡可以殺掉幾十億個失敗的智慧體，代價接近零。現實世界裡，生物進化透過殺死數以萬億計的生物才造出人類。你能在真實世界裡做這種謀殺嗎？ 霍茲的回答是 MuZero。 ## MuZero 是自駕駛的答案 > 我認為 MuZero 會被回看成這個深度學習時代的基石論文。它不只是深度學習的全部，還有很多東西沒到位，但 MuZero 是自動駕駛的解法。你需要做一些調整，但它做的事情正是那些 rollout，那些在學出來的模擬器裡進行的謀殺。（喬治·霍茲） 這段話說得很重。他承認 AlphaZero 需要模擬器，而在真實道路上你沒法隨便試錯。MuZero 的關鍵是從觀測中學習一個動力學模型，然後在這個學出來的模型裡做搜尋和規劃。這就把"在現實裡殺人"換成了"在學出來的世界裡殺人"。 他說自己讀完那篇論文的時候，感覺是：好了，我可以坐下來等自動駕駛的解決方案自己到來了。那一年他看到了未來。 至於時間表，他給的答案是 2020 年代的後半段。他說神經網路會解決駕駛，我們不需要別的東西。他也承認路徑上必須交付產品，所以過程會很慢。 ## 駕駛員監控：他願意賭一萬美金 Comma 的駕駛員監控策略是自適應的。車停著的時候不強制監控；在限速 45 英里、有紅綠燈、可能有行人的路上，監控策略非常嚴格；如果你一個人開在筆直空曠的高速上，就放鬆。這套風險估計全部由機器學習給出，沒有硬編碼。 他解釋為什麼不能永遠保持最嚴格： > 如果你在根本不可能撞到任何東西的時候也報警，人們就會學會忽略它。他們會往方向盤上掛配重，會想各種辦法繞過去。你始終是這個自適應系統的一部分。（喬治·霍茲） 他提到自己開凱迪拉克超級巡航（Super Cruise）的經歷：陽光從窗戶照進來晃到攝像頭，系統就說他沒在看路，而他明明直視前方，而且沒法透過觸控方向盤重置注意力狀態，最後只能被強制退出。他的評價是：這本來應該是一場和使用者的持續對話。 這也是他願意為特斯拉下注的原因。他說 Elon 一定會在推出 L5 之前加上駕駛員監控，他願意賭一萬美金。他補了一句：如果我是他，我也會先公開說監控是錯的，因為你已經造了一大批沒有這個攝像頭的車，你能說什麼呢。 至於為什麼駕駛員監控比外部感知容易，他給了兩個理由。人臉的變化程度遠小於外部環境。更重要的是，駕駛員監控的可靠性要求低得多，90% 的準確率就能拿到幾乎全部收益，因為它是在和一個會配合你的人對話。而外部感知沒有任何容錯空間，撞上樹就是撞上樹。 ## Nvidia 正在自我挖坑 聊到特斯拉自研的 Dojo 訓練晶片，他說這未必是為駕駛資料特化的，只是他們想走蘋果的路，把鏈條上每一環都自己做。 他真正想談的是訓練硬體的壟斷。現在只有兩個選擇：Nvidia 和谷歌。而谷歌的方案只在自己雲上，條款苛刻，早年甚至明確寫著不允許用 Google Cloud ML 訓練自動駕駛或做任何與谷歌競爭的事，除非有書面許可。所以只剩下 Nvidia 一家。 他說自己在 2016 年是 Nvidia 的超級粉絲，黃仁勳是個很酷的人，當時股價 30 美元。但 2018 年之後他觀察到管理層變了，現在的策略是把這個生態裡每一塊錢都榨出來，一塊比 3080（699 美元）沒好多少的卡賣一萬。他認為從商業角度看這是自傷。 > 如果我是 Nvidia，就賣晶片，以合理的加價賣給所有人，不設任何限制。英特爾當年就是這麼幹的，看看他們那一輪跑了多久。Nvidia 現在是在把自己的晶片過度產品化，提取超過可持續的價值。當然，明天股價會漲。但作為 CEO，你要問的是：我能把這家公司露天開採到什麼程度？（喬治·霍茲） 他承認黃仁勳是有五十年視野的人，所以他想不明白這件事怎麼和長期計劃自洽。他的猜測是：他聽了錯的人的話。 同樣的邏輯他套在了特斯拉身上。他說如果他是特斯拉的 CEO，他會賣掉加速器晶片，因為這東西誰都能造，問題只是你願不願意投入。賣出去能賺一筆，還能讓全世界幫你建工具鏈，連底層 bug 都有人替你修。但他也說電池要自己留著，那是真正和車企正面競爭的東西。 ## Waymo 的產品不成立 他先說了好話：去過幾次，坐過他們的車，工程能力、研究、自研的規模都很 impressive，車在特定區域跑得很好，甚至開得比限速還快，體驗不錯。 然後他給出了自己的判斷：問題不在技術，在產品。 > Waymo 比一個稱職的 Uber 司機慢 20%。你可以說它會更便宜，但使用者早就有用錢換時間的選擇了，那叫 Uber Pool。大概只有 15% 的 Uber Pool 使用者不願意用錢換時間。所以他們造出來的整個產品，和傳統網約車網路相比不具備競爭力。（喬治·霍茲） 再往下推，能不能賺錢取決於這家公司能不能壟斷。他認為 L4 自動駕駛共享車的市場會長得像滑板車市場，一場向底部的競賽。滑板車公司已經放棄把它說成實用交通工具，改成強調好玩，這是誠實的做法。但從交通工具的角度看，滑板車不成立，L4 自動駕駛車也一樣。 至於假如讓他管 Waymo 一年會怎麼做，他的回答出人意料：他會把安東尼·萊萬多夫斯基（Anthony Levandowski）從監獄裡弄出來，讓他來管。他是認真的，他認為萊萬多夫斯基是天才，會想出比他自己好得多的主意。他也承認 Waymo 已經陷了 100 億美元，Comma 才融了 810 萬，他沒有任何能救回這個局面的想法，那種想法必須是一個巨大的冒險。 他給 Waymo 的批評是太早上來就打溫情牌。一傢什麼都沒交付的創業公司，應該更像叛軍，把工程師推到前面，把失敗也展示出來，就像 SpaceX 做火箭那樣。他不接受廣告裡那個友好的無人車角色，說那個人壓根不是使用者，是付費演員，我找到了他的通告單。 ## 改變他人生的三天 他記得自己人生中三個具體的日子，每一次都是思維方式被徹底替換。 第一次是讀到埃利澤·尤德科夫斯基（Eliezer Yudkowsky）關於奇點的舊文章。那是 2016 年之前的東西，頁面裡幾乎沒有提到 AI 安全。讓他震撼的是一個簡單的對比：計算機的算力每 18 個月翻一倍，人類不是。一條是指數曲線，一條是水平線，兩者還沒有交叉，但交叉只是時間問題。這開啟了他對指數增長的直覺，也開啟了人類會被取代這件事的可能性。 第二次是 Hutter Prize。那篇東西的核心命題是：智慧等於壓縮。他之前一直在找"智慧"這個詞的定義，一直沒找到，但壓縮有非常清晰的定義。無失真壓縮意味著智慧，這個等價關係給了他一個理解 AI 的框架。他後來花了六個月照著這個方向做，然後去 Vicarious 工作，把現代深度學習的部分補齊了。 第三次最有爭議。他讀到一個叫 Unqualified Reservations 的部落格，是柯蒂斯·雅文（Curtis Yarvin，筆名 Mencius Moldbug）寫的。那是 GamerGate 期間，2016 年大選前夕。他的描述是：突然之間，世界說得通了。 萊克斯問他，那些日子有什麼共同點，是不是純粹運氣好撞上了。霍茲的回答是： > 我沒做任何特別的事才遇到它們，所以我現在也不需要做什麼特別的事。我就在生活裡漂著，祈禱能再遇到這樣一天。（喬治·霍茲） 他還講了一個完全不同型別的故事，關於什麼叫真實發生過。他開車走科羅拉多的 Monarch Pass，雪開始下，前面有車滑出路面，他必須掉頭，在甘尼森過一夜，第二天再走。他說那件事有意義，是因為它是真的。 > 我生活裡很少有什麼真實的事情發生。哪怕只是"我不得不掉頭"這種平淡的事。（喬治·霍茲） 這句話很輕，但它把前面那些關於模擬、關於真假、關於資訊淹沒的討論都串起來了。一個整天和虛擬世界打交道的人，在雪山上掉頭的時候，才感覺到自己在真實裡。 ## 學程式設計只有一條路 他被人問得最多的問題之一是怎麼學程式設計。他的答案是：沒有人是靠看一個叫《學程式設計》的影片學會程式設計的。 > 我認識的每一個程式設計好的人，學的方式都一樣：他們有件想做的事，然後試著去做，然後發現"這個可以讓計算機幫我做"。就這樣一直推著一個專案往前走。（喬治·霍茲） 他特別討厭的一類提問是：我聽說機器學習很重要，你能幫我們把機器學習用到芝士通心粉的生產裡嗎。他說這類人真正缺的是一個具體問題。正確的問法是：我這批盒子裡裝的通心粉不夠，能不能用機器學習解決這個問題。有一個具體的問題，才有一切。 關於該學哪幾門語言，他給了一條相當古典的路線。 先是彙編和 C。不在彙編裡寫過程式碼，你就不知道計算機在幹什麼。不用做到精通，但必須寫過。有彙編才有對 C 的感激，有 C 才有對 Python 的感激。C 讓你體會暫存器分配是怎麼回事，編譯器只有固定數量的暫存器，而你可以宣告任意多的變數。 然後是函式式。學 Haskell，一路學到底，再學一門有依賴型別的語言，把那條理論線走完。 然後是 SIMD 那一類正規化。一個很長的程式碼塊裡的指令是同時執行的，沒有先後順序。這是硬體層面的東西，值得了解。 最後是資料驅動的程式設計。卡帕西（Andrej Karpathy）管它叫 Programming 2.0，霍茲覺得這個叫法會變，但正規化本身是新的。這跟前三種都不一樣，它需要一套不同的技能，我們還在很早期的階段。 這條路線有一個隱含的判斷：抽象層級是一層層堆起來的，你必須知道下面那層在做什麼，才真正理解上面那層給你的東西是什麼。 ## 幾本書 他推薦的第一本是《無盡的玩笑》（Infinite Jest）。他說這是關於我們正在走向何方的書，讀起來很享受，寫得很好，讀完會作為一個人的成長。他指出這本書讀起來很費力，這正好為第二本書做了鋪墊。 第二本是《阿特拉斯聳肩》（Atlas Shrugged）。他的原話是：這本書就是色情文學。他不會為這本書的文學質量辯護，它讀起來很娛樂，就像色情文學一樣，製作水準不高。書裡有一段六十頁的獨白，安·蘭德的編輯想刪掉，她自己掏錢把它留了下來。但它提供了一個理解人際關係的框架。 他知道很多人會說這個框架很糟糕。他的回應是：但它是框架。 19 歲讀這本書的時候，他注意到書裡的反派口號是"各盡所能，各取所需"，覺得這寫得像火箭隊一樣卡通化。然後他意識到這真的是共產黨的口號。 科幻方面他推了兩本。格雷格·伊根（Greg Egan）的《置換城市》（Permutation City），講的是自己的副本，正好呼應他前面說的備份思路。還有一本線上的《Prime Intellect 的變形記》（The Metamorphosis of Prime Intellect），一個後奇點世界的故事，他說一看就知道是工程師寫的，對一個烏托邦的處理幾乎是實用主義式的。他 15 歲第一次讀，之後重讀了好幾次。 他不太喜歡《基地》，覺得太現代主義。他說人人都該讀《神經漫遊者》（Neuromancer）。他也提到了《深淵上的火》（A Fire Upon the Deep）和《沙丘》。還有一本爭議很大的《青銅時代的心智》（Bronze Age Mindset）。 ## 關於愛、瘋狂和做自己 聊到愛，他把這個詞拆成了三種。一種是鴉片式的，一種是催產素式的，第三種是對數學那種愛，前兩種都裝不進去。 他說自己不太喜歡前兩種，理由和他不碰鴉片、不吃搖頭丸的理由一樣：倫理的生活是生產性的生活。他承認自己試過這兩種，而且喜歡鴉片遠多於搖頭丸，但他還是選擇不做。 第三種，那種對人類的抽象的愛，他說自己一直都有，很難想象沒有它會是什麼樣。他看到有些人沒有，不知道該怎麼理解。 關於迷幻藥物，他說了一個很聰明的觀察：認為迷幻藥有東西可以教你，這個想法幾乎是迷幻藥獨有的。沒人會為安非他命這麼辯護。他認為所有藥物都有東西可教，但有個前提： > 你學的不是關於世界的事，你學的是關於自己的事。每個人一生都該往門後面看一眼，但看過之後，你不需要一直回去。（喬治·霍茲） 他自己大概一年會碰一次迷幻藥，劑量很小。他的比喻是：學習率調大了。學習率大有好有壞。 萊克斯插了一句，說自己吃過幾次蘑菇，印象最深的是那種友好和荒誕感，腦子裡出現的畫面和情緒都是善意的，全程都在笑。霍茲對這個描述沒有反駁，他只強調界限：可以試試，可以學點東西，然後回到正常狀態裡去做事。 最後一個問題是關於瘋狂。讓他給自己的瘋狂程度打分，一到十，他給了七。 但他接著說，他不確定自己真的相信瘋狂這個框架。躁鬱症和精神分裂症顯然是真的，有生物學基礎，那是需要認真對待的。再往這條譜系的另一端走，阿斯伯格、對立違抗障礙，這些描述的其實都是正常的人類多樣性。那條線劃在哪裡，憑什麼把它叫問題。 有人總說他一直在藥物狀態，他在直播裡回應過：我用藥很坦誠，如果我在用我會告訴你，今天早上只喝了一杯咖啡，剩下這就是我，你在看我的大腦實時執行。 他說自己就是自己選擇成為的樣子，儘量把話說得像他能看到的那麼真，不說謊。**別讓大腦裡那些約束把你壓進社會規定的模子裡。** > 我願意閃一下。這是有點刻意構造出來的。我就是我選擇成為的那個人。（喬治·霍茲） ## 安卓的劇本，再演一遍 Comma 和特斯拉的關係，他自己給的比喻是安卓對 iOS。 這個比喻的具體含義是：開放的、便宜的、能裝在很多不同車上的方案，和一個封閉的、貴的、體驗最好的方案，長期共存。他判斷 Comma 的使用者數有可能超過特斯拉，但營收永遠不會。特斯拉能從每個使用者身上榨出的錢遠多於他們。 這裡有個細節值得注意。他說如果只有 10% 的 openpilot 裝置來自 Comma 官方硬體，那對公司來說依然是一大筆錢。剩下的 90% 是什麼？是人們自己刷進其他裝置，或者買別人做的硬體。他把這個當成生態健康的標誌。 安裝體驗被描述成宜家傢俱級別。十分鐘，有 YouTube 影片，能裝一張宜家的桌子就能裝 Comma Two。目前支援 91 款車，今年目標是 100 款。他推薦 2020 款卡羅拉，或者 2020 款索納塔，後者用原廠的縱向控制，只接管橫向，是臺很精緻的車。想要更多折騰空間就上本田思域，不過要自己刷一個改過的 EPS 韌體，這部分他不能公開幫忙。 社群裡大約 60% 的人跑官方版本，40% 的人跑 fork。有人只是想要更多儀表讀數，有人不喜歡踩油門就退出這個行為。他們劃的線是：試圖繞過安全功能的，從社群裡請出去。 他倒是說了自己可能尊重誰。通用的可能性是零。現代汽車的可能性明顯更高。日德美車企普遍覺得自己太偉大了，不需要在意科技公司。科技公司裡蘋果最接近能被尊重的那一檔。至於谷歌，他說過去五年下滑得太快。Facebook 他十年前就退出了，因為不認同那個商業模式。 ## 吹牛和撒謊是兩件事 聊到特斯拉那些跳票的時間線，他給出的區分很清晰。 > 如果 Elon 說我們一年內要把火箭降落回地球，然後花了四年，但他一直在往那個方向做，最後真的做到了，這不算撒謊。什麼時候算撒謊？當你根本不會達到那個期限，而你自己知道。（喬治·霍茲） 他給的判斷標準是主觀的：只要說話的人自己相信，就不是 bullshit。他說自己身上也有這個東西，程式設計師普遍有。他也承認這個標準不能推到極端，比如比利·麥克法蘭（Billy McFarland）大概也相信自己說的每一句話，而那就是邪教的開頭，最後大家一起完蛋。 所以需要的是一點點係數，加上身邊有人能拉住你。 他對假裝成功直到成功這句話的態度是明確的否定。他的版本是：誠實，然後指望你能一路走到底。技術會贏，長期看說謊會輸。 凱恩斯那句"市場保持非理性的時間可以比你保持償付能力的時間更長"是他自己提出來的反駁。他沒有繞過去，只是說這就是為什麼需要有別的東西兜底。 還有一段關於人類心理的觀察，他認為很多人盼著別人失敗，是因為別人的成功會變成對自己人生選擇的審判。 > 一個三十六歲、在大廠幹了一輩子的人，看到有人在搞一個瘋狂的新東西，他必須在心裡判它失敗。因為如果它成了，就意味著他本 > 這個解釋把技術討論裡的很多惡意還原成了自我保護。它也解釋了為什麼評論區永遠比現實更刻薄：人在螢幕後面判斷一件事時，往往要先替自己的人生找一個安穩的位置。 > ## 評論區是一場結構性的失敗 > 他先做了一個統計學提醒：評論者不代表人群。他自己不評論任何東西。 > 然後他指出了一個設計問題。推特只有正向的贊，表達負面只能透過回覆，這種不對稱制造了它特有的毒性。YouTube 的評論有上有下，體驗就好得多。 > 他說絕大多數人其實是想說話的，只是不願意走進一個滿屋子都是混蛋的派對。這是平臺問題，人性本身沒有壞到這個程度。平臺的預設狀態是熵增：如果你不花大力氣去鼓勵細膩和善意，它自然會滑向混亂。Reddit 上還剩下一些小版塊，是欣喜和善意的小避風港，甚至能容納有分歧但足夠細膩的討論，但那些都是自發長出來的，平臺本身既沒幫上忙也沒使壞。 > 他對這件事的判斷是樂觀的： > 我覺得推特可以被推翻。我們會回頭看今天的推特，然後說，我簡直不敢相信我們忍受過這種程度的毒性。（喬治·霍茲） 他甚至提到一個具體的機制設計：讓自我覺察被獎勵。在現實對話裡，人會花力氣去覺察自己說的話有沒有傷到對方，這在網路上是有成本的，而大多數人選擇不付。如果你能設計出一個願意為這種成本付錢的人得到回報的地方，結果可能會讓人意外。他也承認不能指望所有使用者都有這個自覺，但可以先把那些願意的人接住。 繞不開的是商業模式。《社交困境》（The Social Dilemma）裡那個更細膩的說法他一直記著：被賣掉的商品是對你的影響力。只要這一條不變，平臺就沒有動力去做上面那些事。 ## GPT-3 不是通用智慧，奇點是頻寬 他對大語言模型的態度是：酷，就這樣。 > 你的損失函式就是字元上的交叉熵。那不是通用智慧的損失函式。（喬治·霍茲） 他給了兩個具體理由。第一，這些模型沒有長期記憶，上下文長度是硬編碼的，可以加寬，但那不叫記憶。第二，他不相信把 GPT 放大能放大出能造火箭的東西。 關於 Transformer 能不能用在自動駕駛上，他的回答很乾脆：可以試，但駕駛比語言更馬爾可夫。t-1 時刻的狀態資訊大部分已經在 t 時刻裡了，衰減得很乾淨。語言不一樣，你可能得回頭去看第二頁的第三段。駕駛場景裡很少有這種長程依賴，除了限速牌那種東西。 他說團隊用的視覺模型輸出一個一維或二維的感知空間，之後可能會在上面試試 Transformer，看看是不是更好。他的預期是這可能只是從 GRU 換成 Transformer 這種級別的替換，談不上革命。 至於通用智慧，他不相信硬起飛。他對奇點的定義很有意思： > 奇點就是頻寬。整個世界已經被聯網了，我們只是在對這張網路提速。（喬治·霍茲） 在他的描述裡，未來沒有某個超級智慧單獨醒來那一刻。他看到的是所有人類節點之間的連線速度不斷上升，整個世界慢慢被壓成一個單一的整體。他沒說這是好事，只說他覺得這個定義接近正確。 萊克斯在這點上和他一致：奇點更可能從我們這群螞蟻的集體智慧裡湧現，某個被造出來的系統很難單獨完成這件事。霍茲補充了一句限定：駕駛本就落在通用智慧的範圍之內，而且是相當完整的一個子集。所以解決駕駛會順帶解決別的問題。 這也是他堅持要造出 L5 的原因。他的原話大意是：在 AI 領域，你太容易騙自己以為想通了什麼。但如果造出一輛 L5 的車，你就無可爭議地造出了某個東西。它未必是通用智慧，但它是真的。 對比一下火星。他說如果只能二選一，他寧願人類上火星。但他自己是個資訊人，與現代主義那套氣質格格不入，所以他的位置在資訊這邊。他甚至順手給萊克斯貼了個標籤，說萊克斯是個後現代主義者，兩個人笑了一陣。 至於工具，他幾乎不在意。一臺 MacBook Air，酒店房間的角落，也能寫出最好的程式碼。多顯示器、機械鍵盤、Kinesis 那種怪鍵盤，他不否認它們舒服，但舒服不等於產能。他自己大部分時間在 Emacs 裡寫，用的是七十年代的編輯器。他說 VS Code 讀程式碼不錯，但 IDE 的 xref 比 VS Code 做得好。他承認自己把整個技術棧從 TensorFlow 換到 PyTorch，花了幾個月，換完的感受是：為什麼我在 TensorFlow 上浪費了這麼多年。但 Emacs 這件事沒有道理，心想要什麼就是什麼。 萊克斯在這件事上坦白得可愛，說自己從來沒用過 vim，大概是怕一旦用了，會發現自己前半輩子的習慣都是浪費。霍茲的回應很平靜：我不傳教。 關於他不上推特這件事，理由也和平臺有關。Instagram 是個漂亮的地方，它頌揚美。推特頌揚衝突，頌揚朝人開槍。他更願意待在會讓人變好看的地方，而不是讓人變好鬥的地方。 ## 那條一直沒斷的線 整場對話裡他反覆回到同一個判斷標準：這件事是不是真的，它有沒有給你力量，能不能被驗證。費米悖論是這樣，模擬理論是這樣，編譯器是這樣，自動駕駛也是這樣。他對無法證偽的東西沒有耐心，對能造出來的東西有無限耐心。 這大概就是他那句"技術總會贏"的真正含義。樂觀主義在這裡只是表層，底下是一套篩選機制：在足夠長的時間裡，能真正跑起來的東西會留下來，講得漂亮但跑不起來的東西會消失。 他也有自己的軟肋。他說自己在生活裡漂著，沒有結構，靠祈禱能再遇到一次那種讓世界觀換掉的日子。他靠讀一個陌生人的部落格理解了自己所處的時代，靠一篇論文理解了智慧是什麼，這些事都不是他計劃出來的。 一個整天講力量、講驗證、講能不能跑起來的人，最後承認自己最珍視的東西是偶然得來的。這兩件事放在一起並不矛盾。他的方法是讓自己保持在一個隨時能被擊中的狀態：不裝懂，不為了面子和稀泥，不把時間花在虛假的遊戲上。剩下的交給運氣。 Comma 只融了 810 萬美元，賣一千美元的裝置。這個數字本身就是一種證明：一家小公司靠賣真東西活著，而不是靠講一個十年的故事融資。他提到自己被收購方找上門，當場笑了出來，因為對方把創業公司當成自己的創新外包部門，還指望創始人配合著拿一些印出來的錢。 這期對話結束時，萊克斯說他是自己認識的最特別的人之一。這句評價放在整場對話的語境裡，指的是那種罕見的組合：一邊用"智慧等於壓縮"這種抽象框架理解世界，一邊在雪山上因為不得不掉頭而覺得真實。 如果你只想從這期對話裡拿走一些能用的東西，下面這幾條可以明天就開始做。 - 卡在一個問題上時，先問自己在哪一層修補。如果所有人都在下游打補丁，就回到上游看看這個補丁本來該不該存在。Optimism 那三千行位元組碼改寫，本質上是編譯器層面的問題被拖到了位元組碼層面。 - 先有具體問題再談技術。把"我想用機器學習做點什麼"換成"我這批盒子裡裝的通心粉不夠，怎麼解決"。前者沒有答案，後者有。 - 學程式設計只有一條路：推著一個具體專案往前走。找一個你真心想讓它發生的東西，然後卡住、查資料、卡住、再查。影片教程只能給你詞彙表。 - 至少認真寫一次彙編和 C，再學一門函式式語言。目的只有一個，讓你知道每一層抽象下面在發生什麼。 - 做和人互動的系統時，把可靠性要求分層次。駕駛員監控 90% 準確率就能拿到幾乎全部收益，外部感知零容錯。資源要投在收益曲線最陡的地方。 - 做任何需要人配合的產品，先想清楚告警疲勞。任何在不可能出事的時候響起的警報，都在訓練使用者忽略你。 - 設定里程碑時配一個能賣出去的東西。沒有收入的里程碑，你可以達成任意一個，然後離目標仍然無限遠。 - 區分吹牛和撒謊。自己相信但時間線樂觀，和明知做不到還許諾，是性質完全不同的兩件事。前者可以被原諒，後者會毀掉一切。 - 看到別人做出東西時，注意自己第一反應是找漏洞還是想知道怎麼做的。如果是前者，那大概不是在評估技術，是在保護自己。 - 每年往門後面看一眼。迷幻藥、長途旅行、一本讓你世界觀換掉的書。看完之後不必一直回去，你學到的是關於自己的事，世界本身沒被解釋。