# DeepSeek、中國、OpenAI、NVIDIA、xAI、臺積電、星際之門與 AI 超級叢集 > 兩位嘉賓解析 DeepSeek 的模型路線、晶片與算力供應鏈，以及中美 AI 競爭的整體格局。 - 原標題：#459 – DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters - 期數：第 459 期 - 釋出日期：2025-02-02 - 嘉賓 / 主題：DeepSeek 與 AI 算力競賽 - 網頁版：https://lex.qiaomu.ai/tw/ep/deepseek-dylan-patel-nathan-lambert/ - 官方頁面：https://lexfridman.com/deepseek-dylan-patel-nathan-lambert/ - 精讀字數：約 16139 字（閱讀約 36 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 DeepSeek-V3 的預訓練用了 2000 張 H800，官方公佈的成本是 557 萬美元。這個數字在 2025 年 1 月底傳遍矽谷，NVIDIA 單日市值蒸發近 6000 億美元。讓同行真正坐不住的，是技術報告裡另一層細節：一箇中國團隊在 NVIDIA 的 CUDA 之下手寫 PTX 指令，直接排程 GPU 內部的 SM 核心，只為把混合專家模型的通訊開銷再壓一點。全球能幹這活兒的團隊，一隻手數得過來。 Lex Fridman 在 2 月初把 SemiAnalysis 的 Dylan Patel 和 Allen 人工智慧研究所的 Nathan Lambert 請進播客。前者是半導體與算力供應鏈最權威的獨立分析師之一，後者剛釋出完全開源的後訓練方案 Tülu 3。五小時聊下來，從混合專家的路由機制到臺積電的研發集中度，從思維鏈的湧現到 Stargate 的錢到底在哪，2025 年初這輪 AI 競爭的關鍵問題基本都過了一遍。 ## V3 與 R1 共用一個底座，後訓練分成兩條路 很多人討論 R1 時沒分清它和 V3 的關係。Nathan 一開場就做了澄清：兩個模型共享同一個預訓練底座，叫 DeepSeek-V3 Base，是一個只做下一 token 預測的基座模型，輸出像高階自動補全，用起來遠不如 ChatGPT 順手。 從這個底座出發，DeepSeek 做了兩次互相獨立的後訓練。第一次是指令微調加人類反饋強化學習，得到 DeepSeek-V3，一個能聊天、能寫程式碼、能答疑的常規對齊模型。第二次是在同一個底座上做強化學習，得到 DeepSeek-R1，會先寫出一大段思考過程，再給出答案。 > 「預訓練只做一次，從同一個底座出發，可以做兩條完全不同的後訓練路線。」（Nathan Lambert） 這個結構解釋了 R1 為什麼便宜。它不需要從零訓一個新模型，只在 V3 Base 上追加一輪強化學習，成本遠低於預訓練。DeepSeek 還把 V3 Base 一併放出來，意味著別人能從源頭復現整條路徑，閉源實驗室不會這麼幹。 ## 開源權重離開源軟體還差著幾層 開源權重指的是把模型的權重矩陣掛到網上供人下載。這個詞聽上去跟開源軟體是一家，實際差得很遠。開源軟體的核心是四條自由：使用、研究、修改、分發。開源權重只滿足第一條。你拿到一堆幾十 GB 的數字矩陣，能推理，看不到訓練資料，也看不到訓練程式碼，模型的偏好和盲區從哪裡來，你只能猜。 Nathan 所在的 Allen AI 主張的是完整開源：訓練資料、訓練程式碼、權重一起公開。他的理由很直接，**資料質量和資料過濾是決定模型質量的第一因素，訓練程式碼決定實驗迭代的速度**。只給權重不給資料，復現成本會高出一個數量級。 DeepSeek 這次做得比 Meta 更徹底。R1 採用 MIT 許可證，商用不限、用例不限、可以用輸出蒸餾合成資料。Llama 的許可證苛刻得多，有使用場景的限制，還有一條讓不少人皺眉的條款：基於 Llama 做出來的模型，名字裡得帶 Llama。按開源軟體的標準衡量，這就不算開源許可證。 Nathan 在節目裡半開玩笑地總結：**「我沒法拿 Llama 做個便宜複製假裝是自己的，但拿中國模型可以。」**這話聽著像調侃，其實點出了中國實驗室在開源策略上的結構性優勢。許可證越寬鬆，生態擴散越快，用的人越多。 ## 成本被砍下來的兩個技術支點 Dylan 把 DeepSeek 的效率優勢歸到兩個技術選擇上，剩下的靠無數工程細節疊加。 第一個是混合專家模型（Mixture of Experts，MoE）。傳統稠密模型像 Llama 70B，每生成一個 token，700 億引數全得過一遍。MoE 換了個思路：模型總引數做得很大，每次只啟用其中一小塊。粗糙地類比，大腦處理視覺任務時視覺皮層活躍，受驚時杏仁核活躍，各區域按需上崗。MoE 就是讓不同的「專家」輪流值班。 DeepSeek-V3 總引數 6710 億，每次只啟用約 370 億。對比 Llama 405B 是 4050 億全啟用，DeepSeek 的嵌入空間更大，能壓縮更多知識，實際計算量卻小一個數量級。訓練和推理開銷順著往下掉。 真正激進的地方在稀疏度。業界常見的 MoE 像 Mixtral 是 8 個專家選 2 個，啟用比例四分之一。DeepSeek 是 **256 個專家選 8 個**，啟用比例只有百分之三點幾。稀疏度越高，效率潛力越大，工程難度也越變態。模型大到一張 GPU 裝不下，不同專家得分在不同節點上，一旦某批資料全被路由到同一個專家，那組 GPU 累死，其餘節點乾等。**負載均衡和通訊排程，成了這套架構最要命的地方。** MoE 還有個老問題叫輔助損失。訓練時如果不管，模型會偷懶，只用少數幾個專家，其他專家永遠學不到東西。學界通常加一個輔助損失項強制均衡，代價是干擾主目標。DeepSeek 的改法是給路由加一個可更新引數，每個 batch 之後調整一次，讓下一批的專家使用更均勻。這種改動能帶來多大幅度的提升不好量化，但它會累積，一年下來差距就出來了。 第二個支點是多頭潛在注意力（Multi-head Latent Attention，MLA）。注意力機制有個繞不開的瓶頸叫 KV 快取，模型每生成一個 token，都要把之前所有 token 的鍵值對讀一遍。上下文越長，快取越大，視訊記憶體越吃緊。MLA 用低秩近似把這塊壓掉了八成到九成。 壓縮本身不難，難的是跟另一個元件配合。業界常用旋轉位置編碼（RoPE）擴充套件上下文長度，RoPE 和 MLA 的矩陣結構天然打架。DeepSeek 的解法是在 MLA 裡額外拆出專門承載位置資訊的部分，繞開這個衝突。Nathan 評價說，這種程度的架構創新，只有最頂尖的實驗室在做，而 DeepSeek 把它公開寫進了論文。 ## 把最佳化一路做到彙編層 Dylan 講了一個很少被外界注意的細節。訓練大模型時，每一層之間都要在 GPU 之間通訊，把梯度同步一遍。NVIDIA 提供標準庫 NCCL 幹這件事，幾乎所有公司都直接調。 DeepSeek 沒調。美國出口管制卡了 H800 的卡間互聯頻寬，標準庫的效率在他們手裡發揮不出來。於是他們自己寫通訊排程，把 GPU 內部的 SM 核心分組，一組跑模型計算，一組做 allreduce，一組做 allgather，來回切換。這需要直接寫 PTX，一種接近彙編的指令集。 > 「你可以用 Python 調 PyTorch 和 NVIDIA 的庫，也可以下到 C 層，還可以一路下到彙編層。大實驗室在個別場景會這麼幹，大多數公司不會，價效比太低。」（Dylan Patel） Dylan 的判斷是，DeepSeek 是被逼出來的，需求是發明之母。互聯頻寬被卡，只能在有限硬體上榨出每一滴效能。Meta 在 Llama 3 裡也做過類似的事，沒公開實現細節。DeepSeek 把方法寫進論文，客觀上抬高了整個行業的技術水位。 他也補了一句冷靜的話：這些底層程式碼高度繫結具體的模型架構和規模，換個架構可能全部作廢。通用性和極致效能之間永遠要取捨，DeepSeek 選了後者，因為他們沒有揮霍算力的餘地。NVIDIA 的通用庫隨便什麼模型都能跑，代價是放棄一部分效能。對 DeepSeek 來說，那部分效能就是他們全部的利潤空間。 ## 訓練時盯著 loss 曲線的人 節目裡有個段落特別生動，聊的是訓練過程中的 loss 曲線。所有大模型訓練都盯著一條曲線看，正常情況一路往下降。MoE 和低精度訓練（FP8）會帶來 loss 尖峰，模型突然不學了，沒人百分百知道原因。 Nathan 舉了 Allen AI 自己踩過的坑：早期模型崩掉，罪魁禍首是一個叫 microwavegang 的 Reddit 子版塊。裡面所有帖子全是字母 M，評論區全是「beep beep」。人看到 M 會預期後面接別的字母，模型看到一長串 M 直接懵，loss 飆升。這類資料在成熟的資料管線裡會被過濾掉，早期模型沒這個待遇。 Dylan 描述了一種更日常的焦慮：**跟在這些實驗室工作的朋友吃飯，他們每十分鐘看一次手機，不是回訊息，是看 loss 有沒有炸。**有些尖峰能恢復，有些得回滾幾個小時從頭再來。行業裡管一次完整的大訓練叫 YOLO run，You Only Live Once，把全部資源押上去，賭這一把能成。 失敗是常態。Nathan 說得很直白，每家想推前沿的公司都有失敗訓練，區別只在於有沒有被媒體報道。**失敗一次可能是一週到一個月的時間損失，這本就是推邊界的代價。**他還提到 loss 尖峰分快慢兩種，快尖峰過去就好，慢尖峰是曲線先爬升再爆掉，遇上了得往回退很遠。訓練過程的緊張感，很大一部分來自這兩種形態分不清的頭幾個小時。 ## 推理價格差裡藏著 OpenAI 的毛利 R1 的 API 輸出價格是每百萬 token 2 美元，o1 是 60 美元，差 30 倍。這個差距不能全歸功於 DeepSeek 的技術效率。 Dylan 拆得很清楚。OpenAI 推理業務的毛利率超過 75%，光這一項就佔了四五倍價差。它敢這麼定價，因為一度是唯一有這種能力的公司。這筆錢也不是白賺，訓練和研究吃掉的錢遠超推理賺的，公司整體還在虧，融資是為了繼續燒。 把 OpenAI 的毛利剝掉，剩下的才是真正的效率差。同一份 R1 權重，Together AI、Fireworks 這些公司拿去服務，價格比 DeepSeek 官方 API 還高五到七倍。**這些公司是賺錢的，靠的不是補貼，所以這個價差反映的是實打實的工程效率。**DeepSeek 的訓練庫有一部分能複用到推理，那部分沒開源。 Nathan 提了一個很少被討論的點：全世界的視訊記憶體要為推理做更多準備。推理模型的輸出動輒上萬 token 的思維鏈，KV 快取一直掛在視訊記憶體裡不釋放。同一臺 8 卡 H100 伺服器，能併發服務的使用者數可能掉一個數量級。**推理模型的普及，本質上是在給全球視訊記憶體容量加壓力。**這也是為什麼 H200 這種視訊記憶體更大的卡在 R1 釋出後變得緊俏。 ## 思維鏈是模型自己長出來的 節目裡有個片段被反覆引用。Lex 讓 R1 給一個關於人類的真正新穎的洞察，模型的思維鏈跑了 157 秒，中間來回自我否定：這個夠不夠新？是不是太老套？讓我再挖深一點。最後給出的答案是：**人類透過集體假裝抽象規則（貨幣、法律、權利）是真實的，把自私的慾望轉化成合作系統，這些共享的幻覺像一場遊戲，競爭被暗中重定向為群體利益，衝突成了社會的燃料。** Nathan 解釋了這種能力怎麼來的。DeepSeek 在 R1 論文裡公開了一個叫 R1-Zero 的版本：從 V3 Base 出發，只在可驗證的問題上做大規模強化學習，答對給獎勵，答錯不給。沒有任何人類標註的思維鏈樣本，模型自己演化出了「等一下，讓我重新檢查」這種行為。 這一點 Andrej Karpathy 在推特上講得很透。他把學習分成兩類，模仿學習（看別人怎麼做然後複製）和試錯學習（自己試，成了就強化）。深度學習史上所有讓人瞠目結舌的結果，幾乎都來自第二類。AlphaGo 先模仿人類棋譜，AlphaZero 完全從零開始自我對弈，後者強得多。R1-Zero 就是同一個邏輯在語言模型上的重演。 > 「人類標註者根本不知道正確的解題策略長什麼樣，他們沒法教模型。模型只能自己在強化學習裡把有用的策略找出來。」（Andrej Karpathy） Nathan 把這個類比接到「苦澀的教訓」上。Rich Sutton 那篇著名文章的核心是：**能規模化學習和搜尋的方法，最終會贏過人類精心設計的先驗知識。**DeepSeek 這次的強化學習路線，又是一次驗證。研究者的聰明解法能在短期內帶來小收益，把系統放開讓它自己學，長期看總會反超。 ## 並行取樣與搜尋進入推理階段 OpenAI 的 o3 在 ARC-AGI 基準上刷出驚人分數，靠的不止一條思維鏈。Dylan 指出，他們並行跑了上千條思維鏈，再從裡面挑答案。單條跑對的機率大概 30%，跑一千條挑一條，成功率能到七成到九成。 這跟 AlphaGo 裡用的蒙特卡洛樹搜尋是同一個思路，只是搬到了語言模型上。Nathan 補了一句謹慎的話：外界其實不完全清楚 OpenAI 挑答案的機制，是多數投票，是訓練了一個專門的打分模型，還是更復雜的樹搜尋，公開資訊不足以判斷。 方向已經很清楚。過去語言模型被設計成「一次給出正確答案」，現在開始轉向「多次嘗試後再選」。這個轉向會倒逼訓練方式調整，也會讓推理成本結構徹底改變。**o1-pro 每月 200 美元還在虧錢，說明高階推理服務的算力消耗遠超訂閱費。** Dylan 在這裡放了一張成本曲線圖，橫軸是時間，縱軸是每百萬 token 的推理成本，對數座標。GPT-3 剛出來時是 60 到 70 美元，兩年後同等智慧水平降到幾美分，降幅大約 1200 倍。他說 DeepSeek 並沒有掉到這條趨勢線下面，它只是第一個踩到線上的公司。**真正的訊號是這條線還在陡峭下行，下一代硬體的算力成本會繼續推動它向下。** ## 蒸餾爭議與資料的迴圈 1 月底《金融時報》報道，OpenAI 稱有證據顯示 DeepSeek 用了它的 API 輸出來訓練模型。節目裡兩位嘉賓把這事拆得很細。 蒸餾本身是行業標準做法，小模型學大模型的輸出，早就有了。Meta 公開說過用 405B 當獎勵模型去訓練 70B。爭議點在於 OpenAI 的服務條款寫明「不能用輸出訓練競爭對手」，可服務條款和許可證是兩回事。違反服務條款，OpenAI 能封你的賬號；違反許可證，那是另一層法律問題。而「競爭對手」這個詞在 AI 領域壓根沒有清晰定義。 Nathan 提了一個繞不開的迴圈論證：**「憑什麼你能拿網際網路上的文字訓練，我不能拿你的輸出訓練？」**大模型預訓練資料大部分來自公開網頁，而網頁裡早就堆滿了 ChatGPT 的對話截圖。Reddit 上有專門分享「最佳 ChatGPT 回答」的子版塊，這些內容現在躺在任何新模型的預訓練資料裡。 Dylan 補了一個更微妙的觀察：很多模型被問「你是誰」，會說「我是 ChatGPT，由 OpenAI 訓練」。原因在於訓練資料裡到處都是這個句式，團隊沒特意做後訓練去糾正。Allen AI 自己的開源模型也這樣，他們得在系統提示詞裡明寫「你是 Tülu，由 Allen AI 訓練」才蓋得住。 諷刺的是，播客錄製前後，社群裡開始出現把 DeepSeek 模型蒸餾進 Llama 的版本。原因是 DeepSeek 的 MoE 架構推理太複雜，Llama 的稠密架構好部署，工具鏈成熟。**技術流動的方向從來不只一條。** ## 出口管制：短期掐算力，長期賭一個時間窗 Dylan 對出口管制的分析是整期節目裡最硬核的一段。他的核心判斷是：**如果 AI 在未來五到十年不會帶來顛覆性變化，美國的出口管制長期一定會讓中國贏。**理由很實在，管制同時傷害了美國晶片公司的收入和研發迴圈，而中國的工業能力、電力建設能力、STEM 畢業生規模都遠超美國。封鎖一個增長中的市場，等於主動放棄規模優勢。 反過來，**如果 AI 在五到十年內真的改變世界格局，算力就是唯一有效的槓桿。**人才不構成瓶頸，美國能吸收全世界的人；電力也不構成瓶頸，中國有全球最兇的基建能力。唯一能拉開的差距，就是先進晶片的可得性。 目前美國政府的策略分檔次推進。2022 年 10 月 7 日第一版管制同時卡算力和互聯頻寬，後來發現 H800 這種「算力保留、頻寬砍半」的晶片中國能自己最佳化繞過去，於是取消頻寬那一條，只卡算力。於是有了 H20，算力只有 H100 的三分之一，視訊記憶體頻寬和容量反倒更高。Dylan 說，**H20 這個規格對推理、尤其對記憶體密集的推理任務，嚴格說比 H100 更合適。** NVIDIA 去年往中國運了大約 100 萬張 H20。就在節目錄制前幾周，NVIDIA 把 H20 和下一代 B20 的訂單全砍了。Dylan 的判斷是，NVIDIA 猜測更嚴的管制在路上，提前收縮。同時，拜登政府在任期最後一週推出的 AI Diffusion Rules，把 GPU 出口管到了連新加坡、葡萄牙這些盟國都要審批的程度。Dylan 的原話是：「新加坡有 F-35，我們不讓它買 GPU。」 走私的量級他也給了估計：去年合法渠道進入中國的大約 100 萬張 H20，經新加坡、馬來西亞等渠道繞進去的大約 20 萬到 30 萬張，還有一塊完全合法的路徑是中國公司租用境外雲廠商的算力。位元組跳動據說在全球租了超過 50 萬張 GPU，是 Oracle 最大的 GPU 客戶，也是 Google 第二大客戶。**新的管制規則專門堵了這條租借路徑。** ## 臺積電與全球三個研發中心 Dylan 講臺積電的段落資訊密度極高。他說全球真正做先進製程研發的地方只有三個：臺灣新竹、美國俄勒岡州希爾斯伯勒（Intel）、韓國平澤（三星）。這三個地方決定未來所有晶片的演進路線。 臺積電在亞利桑那建的廠，在他看來更接近裝配車間。如果新竹從地球上消失，亞利桑那的廠一兩年內也會停產。**「如果我有幾枚導彈，我知道打哪裡能造成最大的經濟傷害，那裡是這三個研發中心。」** 臺積電做成的理由，文化佔一部分。臺灣頂尖大學最好的畢業生，首選就是去臺積電，起薪摺合七八萬美元。在美國，同等水準的畢業生去 Google、Amazon 拿的是幾十萬美元。地震一來，臺積電員工不用通知，自己開車往廠裡衝，停車場瞬間擠滿，像蟻群，沒人指揮，全知道該幹什麼。 另一部分是商業模式。張忠謀當年在德州儀器沒被提拔成 CEO，一怒之下跑到臺灣創辦臺積電。臺積電只做代工，不設計晶片，客戶從 NVIDIA 到蘋果到高通。**過去三十年，能自建晶圓廠的公司一家家死掉，因為一座先進製程廠的投資超過三四百億美元，還得持續投下一代。**AMD 差點破產，賣掉了自己的廠，那塊業務變成了 GlobalFoundries。現在連 Intel 的最新 PC 晶片都用上臺積電的工藝。 美國能不能把先進製造搬回來？Dylan 的回答是能，但得花十年和一萬億美元。臺積電目前在亞利桑那建了大約 20% 的 5 奈米產能，這還只是零頭。他提到一個細節：亞利桑那廠有 3000 名從臺灣派來的工程師，不少人的太太把條件談成了「你去亞利桑那可以，我們到那兒生孩子」，日本熊本的廠也發生過同樣的事。 ## 超級叢集與電力的硬約束 節目後半段轉向算力基建。Dylan 報了一串數字：Meta 訓練 Llama 3 用了 16000 張 H100，而 Meta 去年總共買了 40 多萬張 GPU。xAI 在孟菲斯的叢集現在有 20 萬張（10 萬 H100 加 10 萬 H200），是全球單一地點最大的。Meta 和 OpenAI 各有 10 萬張左右的規模。 更驚人的是功耗。GPT-4 訓練時 2 萬張 A100，總功耗十幾二十兆瓦，標準的機房規模。到 2024 年，10 萬張 H100 叢集的功耗跳到 150 兆瓦，兩年漲了將近十倍。而 OpenAI 在德州 Abilene 的 Stargate 一期，滿負荷是 **2.2 吉瓦輸入，1.8 吉瓦送到晶片**，比不少城市的用電量還高。 電力成了美國建叢集最大的卡點。Dylan 說某些地區（比如弗吉尼亞）輸電成本已經超過發電成本，電網建設太慢。於是各家開始自建電廠。Meta 在路易斯安那建兩座天然氣電廠，OpenAI 在德州也這麼幹。xAI 在孟菲斯更極端，把隔壁的天然氣管道直接接過來燒，配了一堆移動發電機組，還部署大量特斯拉 Megapack 電池來平滑功率波動。 > 「建電廠太慢，幾十億美元的 GPU 擺著等電，這買賣不划算。電價佔叢集成本不到 20%，大頭是 GPU 折舊，那就乾脆自己建電廠。」（Dylan Patel） 還有一個工程細節特別能說明規模。訓練模型時 GPU 的計算功率和通訊功率波動很大，瞬時尖峰能把電網設施搞壞。Meta 在 PyTorch 里加了一個運算子，名字大概是 *powerplant_no_blow_up*，作用是讓 GPU 在通訊階段算一些假數字，把功率拉平。**這個運算子的存在本身就說明，今天的叢集已經是一個能和電網互相傷害的東西。** 散熱也在換代。風冷是過去的標準方案，Google 的 TPU 用水冷好幾年了。xAI 在孟菲斯把水冷做到空前規模，場外擺了 90 個集裝箱大小的水冷機。NVIDIA 下一代旗艦 GPU 強制要求水冷。**水冷除了散熱，還有一層紅利：晶片捱得越近，高速互聯越容易。** ## Stargate 的 5000 億，錢在哪 1 月白宮釋出會上，Sam Altman、Larry Ellison 和特朗普一起宣佈了 Stargate，5000 億美元。Dylan 把賬算了一遍。 一期在德州 Abilene，2.2 吉瓦的園區，伺服器採購大約 500 到 600 億美元，資料中心建設再加十來億。把這 1.8 吉瓦全部用兩代 NVIDIA 新晶片填滿，伺服器成本約 500 億美元，加上資料中心、運維、租金，OpenAI 對外說的「1000 億美元一期」是這麼算出來的。需要說清楚，這是**全生命週期總成本（TCO），算的不是資本開支**。而且 OpenAI 是租，不擁有資產。 錢從哪來？OpenAI 在這家合資公司裡承諾出資 190 億美元，它上一輪融資拿了 460 億，手上還有點債。Oracle 已經在自掏腰包建一期（約 60 億資本開支）。軟銀說要投 250 億進 OpenAI，那筆錢得先賣 ARM 的股份才拿得出來。阿聯酋的 MGX 基金號稱有 1.5 萬億美元投 AI，Dylan 說「這錢有多真，不知道」。 > 「Elon 說得對，這錢現在確實不存在。錢會來的，只要模型繼續變好，融資就能繼續。這是個信仰問題。」（Dylan Patel） 特朗普政府的角色主要是鬆綁管制：聯邦土地上的資料中心和電廠審批基本取消，德州本身有全美唯一不受聯邦管轄的電網 ERCOT，建得快。至於聯邦政府直接掏錢，Dylan 說沒有。他補了另一半判斷：**這種量級的釋出會本身會成為催化劑，1000 億、5000 億的數字在電視上一說，投資人和各家公司的董事會都會被推著往前跑。** ## 誰在賺錢，誰在燒錢 被問到這個問題時，Dylan 的回答很不客氣：**真正賺到大錢的只有 NVIDIA 和其他硬體廠商。**微軟賬面上賺錢，但資本開支巨大，還得逐年折舊。Meta 靠推薦系統賺翻，那跟 Llama 沒關係，Llama 肯定在虧。OpenAI 和 Anthropic 都在燒錢，而且越來越難說清它們最終靠什麼賺錢。 這兩家公司現在是模型能力最強的一檔，品牌也最響，問題是它們沒有分發渠道。X 有特斯拉和 Optimus，Google 有搜尋和 YouTube，Meta 有幾十億使用者的社交產品。OpenAI 手上真正值錢的東西，幾乎只有 ChatGPT 這一個入口。 Nathan 把這個困境講得更直接：對大多數普通使用者來說，沒必要非得讓 OpenAI 花幾十上百億美元訓下一代最強模型，他們完全可以用更便宜的 Llama 5 或者 DeepSeek。ChatGPT 是極其有價值的資產，可它賺的錢要拿去填訓練的窟窿。聊天這個賽道的成本正在坍塌，V3 已經把價格打到這個位置，再往下走，聊天遲早變成廣告支撐的免費服務。Google 有全球最大的廣告系統，Meta 已經在免費服務 405B 級別的模型，它們玩得起，OpenAI 未必。 > 「Chat 不是終局。真正值錢的是推理、程式碼、agent、computer use，這些是 OpenAI 必須去的地方，不然它就完了。」（Dylan Patel） 這就形成了一個擰巴的局面：模型進步快，OpenAI 的技術領先能轉化成收入，它就贏；模型進步慢，能力變成白菜價，它就會被有分發渠道的大廠包抄。**OpenAI 和 Anthropic 的處境，是必須一直跑在技術最前面，一停就會被吞掉。** ## 模型回答裡怎麼放廣告，還沒有答案 節目裡聊到一個有意思的空白點。今天最賺錢的廣告形態有兩種，Meta 的資訊流廣告靠使用者畫像精準投放，Google 的搜尋廣告靠關鍵詞匹配。但**在一段模型生成的回答裡，怎麼放一個高質量、不招人煩、又能被測量的廣告，現在沒有答案。** Nathan 認為，誰先解開這道題，誰就能吃到一塊巨大的收入。這活兒不是加一條橫幅那麼簡單，它可能出現在語音對話裡，用一句話自然引出某個產品；可能藏在多輪對話的某個轉折點上。難的地方在於既要有效，又不能顯得下作，否則輿論立刻反噬。Perplexity 這類公司在試，Google 和 Meta 有動力試，OpenAI 和 Anthropic 目前完全沒往這個方向看，它們的心思全在 AGI 上。 ## Agent 與良率的連乘 2025 年初，商業媒體都在喊 agent 是今年的關鍵詞，AI agent 要顛覆一切。Nathan 對這個詞的態度是，被用濫了。 他的定義很清晰：agent 應該是一個能獨立、開放地解決任務、能應對不確定性的系統。現在這個詞被貼到了從 Apple Intelligence 到各種自動化指令碼上。Apple Intelligence 那種在訊息、照片之間做編排的工具呼叫，語言模型確實能做，也會做成，可那是封閉域裡的編排，跟「幫我訂一張兩天後去奧斯汀的機票」還差著十萬八千里。 Dylan 用製造業的類比講清了 agent 的真正難點。半導體制造有上萬道工序，每道工序的良率如果是 99.9999%，把所有制程乘起來，最終良率可能只剩六成甚至歸零。**Agent 是同一個邏輯，它要連續完成幾十上百個步驟，每一步模型都有出錯機率，這些機率連乘起來，整體成功率斷崖式下跌。**這就是為什麼 Waymo 跑了這麼多年還得配遠端操作員，自動駕駛的「六個九」至今沒解決。 真實世界的開放性讓問題更糟。軟體工程是 agent 最容易攻破的領域，因為程式碼能編譯、能跑單測，結果可驗證。電腦操作、網頁互動面對的是一個混亂世界，一個航空公司訂票網站要點十幾次，人類使用者每次用都要經歷一次存在主義危機，指望 AI 穩定搞定，短期內不現實。 Dylan 也給了另一條路徑：**如果單個步驟做得好，就可以串起來，靠工程手段補上模型的不穩定。**已經在出現的生意是「agent 失敗時的人工兜底」，agent 卡住了，一個真人接手幫你完成。等家用機器人普及，很可能也會有一套全球分佈的人工操作市場，機器人在你面前卡住時，地球另一端有人遠端幫你把碗放進洗碗機。他半開玩笑說，這可能就包含在特斯拉的服務套餐裡。 ## 軟體工程被吃掉的方式 程式設計是 AI 已經產生真實收入和真實效率提升的領域。Dylan 提到 SWE-bench 這個基準，題目難度大概需要幾年程式設計經驗才能完成，模型一年內從 4% 的正確率漲到 60%，明年還會更高，但不會到 100%，因為「六個九」太難。 他真正看好的方向在程式碼補全之外，是軟體工程 agent。原因是這最可驗證，寫完能編譯、能跑測試。而且 agent 可以一次讀進整個程式碼庫，這是普通工程師做不到的，只有最資深的架構師能在腦子裡裝下這些。模式會變成這樣：資深的人定義架構和意圖，agent 去執行，人再回來審查。 這件事的外溢效應被低估。Dylan 舉了中美 SaaS 的差異：美國公司大量購買 Salesforce 這類平臺 SaaS，中國公司很少買，大家都自己搭一套，因為中國工程師成本低。**如果軟體工程成本再掉一個量級，全世界都會變得更像中國，公司傾向自建高度定製的系統，不願被通用 SaaS 綁死。**這會重塑整個企業軟體的格局。 Nathan 補了一個冷靜的看法：不會有「某天程式設計師突然沒用」的斷崖。他拿 Meta 加 Stories 功能類比，Snapchat 當時在指數增長，Meta 一加 Stories，它的增長曲線直接壓平。AI 對程式設計師就業的影響更像這樣，需求曲線先轉平，然後緩慢下滑，供給端（比如還在擴招的 CS 學生）反應要慢好幾年，兩邊錯配會持續一段時間。 Lex 在這個位置加了一句他個人很看重的建議：**程式設計師應該主動擁抱這套工具，把自己變成 AI 的監督者和合作者，別選擇完全不學程式設計、只靠生成。**要管住越來越聰明的系統，本身就需要很高的專業水平。Dylan 補充，除了會用 AI，還得在某個具體領域做到專家，航空航天、半導體、化工這些行業至今還在用二十年前的軟體，誰能把最前沿的 AI 能力帶進這些老舊領域，誰就站在前沿。 ## 開源 AI 缺少反饋迴圈 節目最後聊到 Nathan 自己做的事。他所在的 Allen AI 剛釋出 Tülu 3，一套完全開源的後訓練方案，訓練資料、訓練程式碼、配方全部公開。名字來自 tülu，一種單峰駝和雙峰駝雜交的駱駝，沿用了 ChatGPT 之後那波用哺乳動物命名模型的傳統。 Tülu 3 基於 Llama 3.1 405B 的底座，用了指令微調、偏好對齊，還有最近很熱的可驗證獎勵強化學習（RLVR）。Nathan 說他們在數學這個可驗證基準上的提升特別明顯，方法跟Tülu 3 基於 Llama 3.1 405B 的底座，用了指令微調、偏好對齊，還有最近很熱的可驗證獎勵強化學習（RLVR）。Nathan 說他們在數學這個可驗證基準上的提升特別明顯，方法跟 DeepSeek 論文裡講的是一條路。區別在於，DeepSeek 只公開了論文和權重，Allen AI 把配方、資料、程式碼一起放了出來。 他們用相當有限的算力做出了超過 Llama 官方 instruct 版本的評測成績。Nathan 報了個具體數字：Tülu 3 在自建的十個評測項上平均 80 分，DeepSeek V3 不計安全項是 79 分，把安全分算進去會掉到 70 上下。**安全這一項他特意沒有拿去當主要賣點，理由是一家之言的安全標準不該成為排行榜的核心變數。**有人想把安全留到部署層做，有人想在訓練階段做，兩種選擇都合理。 這套評測的思路值得一提。學術界通常只用少數幾個基準，大廠內部會針對一個核心場景堆幾十上百個評測。Allen AI 選了十個有代表性的維度，覆蓋聊天、精確指令跟隨（比如只用表情符號回答）、數學、程式碼、安全。這些分數本身說明不了模型有多聰明，但它讓外人第一次能看清後訓練每一步到底在最佳化什麼。 往前看，Nathan 認為開源後訓練的下一步是擴大驗證器的覆蓋範圍，把資料規模提上去，復現 DeepSeek 的一部分結果。有論文可讀，這件事比一年前容易太多。 ## 開源 AI 缺的是反饋迴圈 但 Nathan 對開源 AI 的現狀有一份清醒的悲觀。開源軟體能繁榮，靠的是一整套反饋迴圈：你改一行程式碼，全世界都能受益，改的人自己也有好處，於是越改越快。開源 AI 沒有這個迴圈。你放出模型權重、訓練資料、訓練程式碼，別人想在此基礎上改進，還得有海量算力、專業團隊和踩過一遍的工程直覺，門檻高到大多數人根本接不住。 > 「在開源 AI 形成反饋迴圈之前，它基本還是一場意識形態驅動的苦行。Zuckerberg 說美國需要一個開源標準，我同意他，但在這個動機還高漲的視窗期，我們得趕緊把生態搭起來。」（Nathan Lambert） 他自己也在找突破口。Allen AI 準備上線一個演示，你輸入一個查詢，系統告訴你哪些預訓練資料和它最相關。這件事法律上有風險，技術上也很麻煩，預訓練資料是幾 TB 的檔案，解析起來極費勁。**可如果人們真想讓開源 AI 產生商業價值，「看見模型到底學了什麼」這件事就必須做到。**否則所謂開放只開放了結果，沒開放因果。 他也承認這條路的現實壓力。算力受限、人手受限，Allen AI 只能靠從別處學到的技巧做跳躍，比如從 John Schulman 那類研究者身上借經驗。別人花一個月能試一百個方向，他們只能試十個，選錯的成本更高。**開源 AI 今天更像一種公共品，靠一批人自願往裡貼資源維持，商業上還沒找到自洽的閉環。** ## Google 手握 TPU 卻不賣 聊硬體競爭時繞不開一個問題：Google 有 TPU，為什麼不做成生意去跟 NVIDIA 搶？ Dylan 的分析是，Google 的基因裡沒有這門生意。TPU 最初是為了讓搜尋跑得更便宜，後來服務 Gemini、YouTube、廣告這些內部業務，整個架構為內部工作負載深度最佳化。他舉了個很具體的例子，Google 開源的 Gemma 7B 其實有 80 億引數，因為詞表做得特別大，而詞表這麼大是因為 TPU 的矩陣乘法單元特別寬，Google 就順手把詞表也做大了。這在這麼小的模型上並不合理，可它跟自家硬體最匹配。反過來，Llama 在 TPU 上跑不如在 GPU 上順，Gemma 在 GPU 上跑也不如 Llama。 更難的是軟體棧。Google 內部的工程師用 TPU 訓練模型，幾乎不用碰硬體細節，體驗相當順。這些人一旦離開 Google 創業，會發現外面沒有這套東西，他們得從頭學 GPU 那一套。Dylan 說很多從 Google 出來的人又跑回去借內部工具，就是因為外面的基礎設施太難伺候。 組織也是一層障礙。Google Cloud、TPU 團隊、DeepMind、搜尋是四個平行的組織，各有各的 KPI。內部的 JAX 和 XLA 團隊服務的是 DeepMind 和搜尋，不對外部客戶。NVIDIA 的 CUDA 團隊反過來，從第一天起就在對著外部客戶做，NCCL 這類庫的迭代節奏由客戶需求驅動。**一家公司願意為外部客戶改工具，另一家只願意為內部團隊改，時間一長，差距會自己長出來。** 那 AWS 為什麼一直壓著 Azure 和 Google Cloud 打？Dylan 的答案很樸素：先發、好用、便宜，而且從第一天就服務小客戶。早期 AWS 會跑到灣區各種活動發代金券，讓小公司刷信用卡就能用。Snowflake 當年在 AWS 還沒重視它的時候就開始用 AWS，等長成大客戶，關係已經綁死。再加上 Amazon 自研了一堆晶片，在儲存、CPU、網路、資料庫這些基礎層的成本結構比對手低。**AWS 貢獻了 Amazon 超過八成的利潤，而零售業務賺得很少，這個反差本身就說明雲這門生意的質地。** ## Intel 在懸崖邊，AMD 被軟體拖住 被問到有沒有誰能挑戰 NVIDIA，Dylan 的回答很乾脆：短期看不到。 AMD 的硬體很多地方其實比 NVIDIA 好，問題全在軟體。SemiAnalysis 團隊曾經花好幾個月在 AMD 的 GPU 上做訓練和推理，結果發現自己成了提交 bug 最多的使用者。原因是 AMD 只服務少數幾個大客戶，會給他們發私有映象，普通使用者拿 PyTorch 和公開庫去用，體驗很差。Dylan 說他們確實在好轉，可差距太大，投入也不夠。 Intel 的處境更嚴峻。Dylan 提醒大家別忘了，Intel 曾經領先製造工藝二十年，應變矽、高 K 金屬柵、FinFET 這些技術都是它第一個量產、賺最多錢的。問題出在文化壞了，能力沒壞。拒絕 iPhone、晶圓廠管理失當、設計部門鎖死，一層層疊加。現在它在伺服器和 PC 兩個主戰場上都在丟陣地：蘋果 M 系列吃掉了 PC 高階，亞馬遜、微軟、Google 都在自研 ARM 伺服器晶片，Intel 自己在 AI 加速器上幾乎沒有像樣的產品。 更麻煩的是，Dylan 之前說的「全球只有三個地方在做先進製程研發」，其中三星和 Intel 現在都做得不好。**如果只剩臺積電一家能搞研發，而臺積電又集中在臺灣，全世界的科技產業就吊在一根繩子上。**這也是為什麼 Intel 的命運不只關乎商業，還關乎國家安全。 ## AGI 的時間表比 CEO 說的晚幾年 Lex 反覆追問 AGI 的時間點。Dario Amodei 說 2026 年會出現強大的 AI，具備實質性的軍事和地緣優勢。Nathan 的態度是，這些 CEO 確實想得很深，得認真對待，也要理解他們的激勵機制，所以在他的時間上加幾年，大概是 2030 或稍晚。 Dylan 的補充更實在。能力可能在 2027、2028 年就到了某個門檻，一個人如果能把這種能力用上足夠長時間，可以說這就是 AGI。可**真正制約它鋪開的是成本。**今天問 ChatGPT 一個問題花幾分錢，解決一個 AGI 級別的高難度任務要花 5 到 20 美元，未來可能是幾千、幾十萬美元的 GPU 時間。世界上沒有那麼多電、那麼多晶片、那麼多基礎設施，讓這種能力瞬間鋪滿整個經濟。所以不會有一個「啪」的時刻，而是「能力先到，鋪不開」的漫長過渡。 他舉了個回看的例子。2023 年 GPT-4 剛出，所有人恐慌搜尋要被顛覆，Perplexity 冒了出來。可如果算一下把 GPT-3 塞進每一次 Google 搜尋的成本，會發現物理上根本做不到。同樣的道理，AGI 的能力和 AGI 的普及之間隔著一道算力的牆。 在這個過渡期裡，誰有權把 AGI 指向某個任務，也就成了關鍵問題。Dylan 引了 Dario 那篇部落格的核心擔憂：美國的 AI 會更偏資本化配置，流向回報最高的商業場景；中國的體制有可能更快把 AI 用到軍事和特定目標上。他提到一個現實，在無人機這類非對稱武器上，中國已經大幅領先西方。**技術領先和軍事應用之間，還隔著一條組織能力的縫，誰的體制能更快穿過這條縫，誰就把算力變成了實力。** Nathan 在這裡給了一個他自己的定義。他說語言模型就是某種形式的 AGI，這句話不用等到超級智慧。一個模型能跨那麼多領域提供價值，本身已經足夠通用。真正還沒到的是那一步，模型能獨立地在訓練資料之外解決陌生任務，還得靠幾輪技術突破。 ## 兩套不同的隱憂 節目快結束時，Lex 問了一個大問題：什麼讓你對人類未來抱有希望？ Nathan 的回答很樸素。他認為人類一定能活過一千年，歷史上出過很多大災難，人少了很多，可人類活了下來。人對長期風險的判斷力很差，一旦風險變得迫在眉睫，人總能想辦法解決。物理約束、人類的基本善意、以及過去解決問題的記錄，讓他偏向樂觀。他不太擔心 AI 接管。 Dylan 的隱憂更具體，也更值得記下來：**他擔心的東西是人和機器融合之後，極少數人獲得遠超常人的能力。**當一部分人可以腦機介面、可以調動 AGI 的全部能力，他們的影響力會指數級放大。不會是一個人統治所有人，而是幾百、幾千、幾萬人凌駕於其餘所有人之上。他把這種東西叫技術法西斯主義的風險。 他也給了另一半判斷：多數情況下，這種能力會被用在逐利上，逐利會增加供給和豐裕，從而降低痛苦。這是他願意對商業動機保持樂觀的原因。 聊到最後，兩個人還開了個玩笑。如果未來是躺在營養管裡刷資訊流、被演算法餵飽多巴胺，那算不算一個好結局？Dylan 說，從某種角度看算，人快樂了。Nathan 接了一句更酸的：**刷資訊流維持的是世界的現狀。**這段聽著輕鬆，其實藏著整期節目最沉重的一層意思。人和演算法的關係，早就不是「用不用」的問題，它已經在塑造每個人認為什麼是重要的。 ## 這五小時真正立住的幾個判斷 資訊量這麼大的一期，如果只挑幾條帶走，大概是這些。 DeepSeek 的技術報告值得認真讀，它是實打實的工程記錄，不帶營銷味。一個被算力卡住脖子的團隊，把混合專家的稀疏度推到 256 選 8，自己發明注意力壓縮方案，還下到彙編層排程 GPU 核心。這些細節對任何做模型訓練的人都有直接參考價值，也是這輪開源討論裡最硬的一份材料。 R1 便宜的原因要拆開看。一部分是真實的技術效率，另一部分是 OpenAI 的高毛利。把這兩層剝開，才能看清這個行業的價格結構是怎麼形成的，也才能判斷下一輪價格戰誰扛得住。 思維鏈的湧現是這一輪最值得關注的現象。模型在沒有人類示範的情況下，自己學會了回頭檢查、自我否定、換條路再試。這件事的意義超出工程範疇，它說明強化學習在可驗證領域的天花板還遠沒到。 Agent 不會在 2025 年顛覆一切，它會在特定封閉領域逐步推進。判斷標準很簡單，這個任務的每一步能不能被驗證。能驗證的先被吃掉，靠開放世界和人類常識的還得等。良率連乘這件事，比任何釋出會都誠實。 整個行業的瓶頸正在從晶片轉向電力。誰能更快建起吉瓦級的電廠和資料中心，誰就握有下一輪競賽的入場券。這也是為什麼鬆綁審批的政策被談論得這麼多，為什麼天然氣電廠、核電站、儲能電池會突然變成 AI 圈的關鍵詞。 ## 給讀者的幾條具體建議 - 把 DeepSeek-V3 的技術報告完整讀一遍，尤其 MLA 和專家路由那兩節。這是目前公開材料裡工程含量最高的一份，比大多數綜述都有用。 - 如果你是開發者，把 R1 或 V3 的權重下載到本地跑一次。斷網環境下跑通一次，你對「開源權重到底意味著什麼」的理解會比讀十篇文章更具體。 - 追蹤推理成本曲線，別隻追蹤榜單分數。過去兩年同等智慧水平的推理成本降了一千多倍，這個斜率決定了什麼應用能活、什麼應用會死。 - 評估 agent 產品時先問一個問題：它的每一步能不能被自動驗證？能驗證的場景值得投，不能驗證的先別信宣傳。 - 如果你在傳統行業（製造、化工、航空、醫療），花一週時間梳理團隊還在用的二十年前的軟體，以及最痛的三個流程。這是 AI 最容易切進去、也最容易被忽視的地方。 - 程式設計師把重心從「寫程式碼」移到「定義問題、審查結果、理解整個系統」。SWE-bench 一年從 4% 到 60%，離 100% 還很遠，中間那段空間就是人的位置。 - 關注電力，別隻關注晶片。想判斷一家公司或一個地區未來能不能撐起大模型，去看它的電網、變電站、發電規劃，這些公開資料比釋出會更可靠。 - 對 AGI 的時間表保持兩層判斷：能力可能比預期更早到，普及一定比預期更晚。做產品和做投資時，這兩件事要分開算。 - 讀英文技術報告時，把附錄和實現細節當成正文看。這輪技術突破的關鍵，幾乎都藏在那些不起眼的腳註裡。 - 給自己的 AI 使用留一段離線時間。Nathan 在節目最後說的那句話值得記住，刷資訊流維持的是世界的現狀，而你想改變的東西，通常需要你先從那條流裡走出來。