# 2026 年 AI 現狀：大模型、程式設計、擴充套件定律、中國、智慧體、GPU、AGI

> 縱覽 2026 年 AI 格局，從大模型與擴充套件定律到程式設計、智慧體、GPU 算力、中國競爭與 AGI。

- 原標題：#490 – State of AI in 2026: LLMs, Coding, Scaling Laws, China, Agents, GPUs, AGI
- 期數：第 490 期
- 釋出日期：2026-01-31
- 嘉賓 / 主題：2026 年 AI 現狀
- 網頁版：https://lex.qiaomu.ai/tw/ep/ai-sota-2026/
- 官方頁面：https://lexfridman.com/ai-sota-2026/
- 精讀字數：約 13995 字（閱讀約 31 分鐘）

> 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。

2025 年，Anthropic 在法庭上輸了，要賠作者十五億美元。花錢買書掃描那部分法院認了，用種子下載那部分沒認。這筆錢在矽谷的討論裡幾乎沒留下什麼痕跡，可它是十五億美元。

這件事說明的東西比金額本身更重要：訓練資料是這場競賽裡最貴、最不透明、最容易打起來的資產。第 490 期 Lex Fridman 播客裡，Nathan Lambert 把話說得更直：

> 如果你加入一個前沿實驗室，想產生影響，最好的做法就是找到更好的新資料。那些花哨的演算法突破，比如想出怎麼縮放強化學習，是科學家眼裡最性感的想法。有團隊做成了，可更多的貢獻其實是“我把資料做得更好了”，或者“我把基礎設施做得更好了，讓我團隊裡每個人跑實驗快了 5%”。（Nathan Lambert）

這期節目 2026 年 1 月底錄製，嘉賓除了 Nathan，還有 Sebastian Raschka。前者是 Allen Institute for AI 的後訓練負責人，寫過 RLHF 領域的標準參考書；後者寫過《從零構建大語言模型》和《從零構建推理模型》。三個人坐下來聊了一整年 AI 到底發生了什麼，接下來一年可能會發生什麼。

聊到最後能拎出一條主線：**過去一年最大的變化不在模型架構上，在訓練方法和資料質量上；模型之間的能力差距在收窄，差異化競爭正從模型本身轉向產品形態和工程效率；2026 年的看點不在更大的模型，在推理成本、上下文管理和智慧體系統的成熟度。**

## DeepSeek 丟了王冠，接班的還是中國公司

2025 年 1 月，DeepSeek R1 釋出，整個行業震了一下。接近甚至達到當時最前沿的水平，據說用的算力少得多、成本低得多。一年過去，Nathan 的判斷是 DeepSeek 正在失去它在中國開源模型界頭把交椅的位置，接班的卻不是美國公司。

> 現在有一大堆中國科技公司在釋出非常強的前沿開源權重模型，DeepSeek 正在失去它作為中國最傑出開源模型製造者的王冠，Z.ai 的 GLM、MiniMax、月之暗面的 Kimi K2 Thinking，尤其最近幾個月，光芒更盛。（Nathan Lambert）

DeepSeek 沒變差。Sebastian 補了一個關鍵視角：其他公司在用 DeepSeek 的思路做自己的模型，架構幾乎一樣，只是訓練得更晚，所以看起來更好。這種跳躍式競爭的結果就是，最新的模型往往就是當下最好的模型，領先者並沒有做錯什麼。

有個被忽略的商業邏輯。Nathan 經常收到一些中國公司的主動接洽，對方很清楚一件事：美國的大科技公司和 IT 企業出於安全顧慮，不會為中國的 API 付費。開源權重模型於是成了進入美國 AI 支出市場的通道。企業下載權重、自己部署、自己微調，資料不出內網，安全顧慮繞開了，影響力照樣打出去了。

許可證的友好程度也在起作用。Llama 和 Gemma 的許可證帶使用者數上限之類的附加條款，超過一定規模要向 Meta 或 Google 報告財務狀況。中國這批模型用的是幾乎沒有附加限制的開源許可證。想做商業產品的團隊，這個差別是實打實的。

兩家中國開源公司已經開始走上市流程。MiniMax 和 Z.ai 都遞了 IPO 材料，在西方做大量的市場推廣，想要西方使用者的注意力。DeepSeek 反而一直沉默，它由一家叫 High-Flyer 的對沖基金孵化，外界不清楚它到底拿模型幹什麼、在不在意這些事。同樣是開源，背後的激勵結構完全不同。

## 2025 年誰贏了，2026 年誰會贏

Lex 問得很直接。Nathan 的回答繞了一下，落腳點很明確。

2025 年的消費者聊天機器人賽道上，動量在 Gemini 這邊，可它是從一個很低的起點追上來的。Bard 時代的失敗不用迴避，Google 頂著組織層面的混亂把 Gemini 3 做出來，這件事本身值得給 credit。Nathan 說自己不太敢押 Gemini 贏過 ChatGPT，OpenAI 作為在位者的優勢太大，而且 OpenAI 看起來亂，卻非常擅長把事情做成。

GPT-5 收到的評價很分裂，其中有個被低估的設計：high-line 功能做了個路由器，大部分使用者不再像以前那樣燒 GPU 成本。這是省錢的做法，也是讓產品跑得更穩的做法。Nathan 說，很難把“我個人喜歡什麼模型”和“什麼能在普通使用者那裡產生差異化”分開來看。

2026 年，Nathan 的判斷是：Gemini 會繼續縮小和 ChatGPT 的差距，Google 的規模優勢和把研究與產品分離的能力是結構性優勢；Anthropic 會在軟體和企業側繼續成功，這條路他們已經反覆走過；基礎設施這塊 Google 的 TPU 給了成本優勢，英偉達晶片的利潤率太高，Google 能從晶片到資料中心自己搭一整套，不用付這筆溢價。

要賭一個全新的正規化，Nathan 還是押 OpenAI。Deep Research、Sora、o1 這些定義性的東西都從 OpenAI 出來。他們的研究部門一次又一次證明了自己能把新想法變成產品。所以 2026 年大機率是關於規模，關於把模型裡那些低垂的果實摘下來。

還有一個有意思的觀察：三個人聊了二十分鐘各自怎麼在日常工具之間切換，誰都沒提中國模型。Nathan 的解釋很簡單，美國模型目前就是更好，他願意為那點邊際智慧付錢。中國模型在 OpenRouter、Perplexity 上都能跑，用起來圖個新鮮，但不會回頭。

> 我們不在這兒討論中國模型，是因為美國模型目前更好，我們就用它。我試過那些開源模型，“挺好玩，但我不會回去用”。（Nathan Lambert）

他還提了一個技術層面的差異：從服務方式看，中國模型的每個副本用的 GPU 更少，代價是速度更慢、某些錯誤模式不一樣。對使用者來說，速度和智慧同時佔優才有意義。這個差距今年會不會反轉，是這條賽道最值得盯的事。

## 架構沒怎麼變，變的是別的東西

這是整期節目裡資訊密度最高的一段。Sebastian 花了不少時間解釋一個看著反直覺的事實：從 GPT-2 到 gpt-oss-120b，底層架構的變化遠沒有外界想象的那麼大。

變化主要是幾個模組的替換：多頭注意力換成分組查詢注意力，LayerNorm 換成 RMSNorm，啟用函式從 sigmoid 一類換成 ReLU 一類，加上混合專家層。混合專家（Mixture of Experts，MoE）的邏輯是把原來那個昂貴的全連線層拆成多個專家網路，每個 token 只啟用其中一小部分。有 256 個專家，路由器根據輸入決定用哪幾個。模型引數量可以做得很大，每次前向傳播消耗的算力卻不會同比例增長。

> 如果你熟悉深度神經網路，這就像把 sigmoid 換成 ReLU，並沒有從根本上改變網路，只是一個小調整。基本上就是這樣，它並沒有本質上的不同，還是同一個架構。你可以透過新增這些改動，從一種架構轉換到另一種。（Sebastian Raschka）

那進步到底發生在哪裡？答案分三層。

第一層是訓練階段的分化。GPT-2 時代只有預訓練，現在有預訓練、中期訓練、後訓練。ChatGPT 本質上是一個 GPT-3，架構和 GPT-2 一樣，新東西是監督微調加人類反饋強化學習。能力解鎖發生在演算法層面，不在架構層面。

第二層是系統工程。Nathan 提到英偉達釋出會上的 FP8、FP4 這些精度最佳化，本質是讓同樣的硬體塞進更多計算、更快地做實驗。訓練程式碼庫的變化是巨大的，架構看起來一模一樣。拿同樣的 GPU 訓練 gpt-oss-20b，實際耗時可能遠少於當年訓練 GPT-2 的時間。這些系統層面的進步不直接給模型新能力，它讓研究人員能更快試錯、更快找到更好的配置。

第三層是替代架構的探索。文字擴散模型、Mamba 這類狀態空間模型都在嘗試，都有取捨。目前最前沿的效能還是來自自迴歸 Transformer，替代方案更多在成本敏感的場景裡找空間。

## 縮放定律：四個旋鈕都還轉，價效比變了

Nathan 先給了個技術定義：縮放定律是計算量加資料量和留出集預測準確率之間的冪律關係。這個關係在預訓練裡已經驗證了十幾個數量級。後來 o1 引入了推理時縮放，讓模型在回答前生成更多 token 來思考。再後來人們發現強化學習訓練也能縮放，對數增加訓練算力，線性提升評估表現。

現在是四個旋鈕：預訓練規模、強化學習訓練時長、推理時計算量、上下文長度跟資料質量。問題不在哪個死了，在錢該往哪兒花。

Sebastian 算了一筆賬。預訓練是固定成本，訓練完了能力就永遠在那兒。推理時縮放按查詢付費，使用者越多花得越多。如果你的模型半年後就會被替換掉，花五千萬美元多訓練兩個月可能不划算，不如把錢花在推理時縮放上。反過來，ChatGPT 有海量使用者，每次查詢都多燒推理算力會要命，所以 GPT-5 用了個更小的模型加路由器。

Nathan 補了成本結構裡最關鍵的一點：訓練成本相對於服務成本其實很低。DeepSeek 那個著名的五百萬美元預訓練成本按雲市場價格算的。OLMo 3 的論文第 2.4 節詳細寫了叢集租用、工程問題、多隨機種子的總成本，大約兩百萬美元。可服務幾億使用者的經常性成本是幾十億美元級別的算力。一千塊 GPU 一天就是十萬美元，這些公司可能上百萬塊 GPU 在跑。模型做大之後，服務成本的壓力會倒逼團隊把模型做小、把效率做高。

> 這些模型，很多人花一到一千萬美元就能訓一個出來，可用它服務幾百萬使用者的經常性成本，是真的幾十億美元級別的算力。（Nathan Lambert）

關於“預訓練已死”的說法，Nathan 認為那只是興奮點轉移了，實際發生的事情並非如此。他用 OLMo 3 的釋出節奏舉例：十一月二十號的截止日期，強化學習跑了五天；十二月又跑了一次，讓 RL 多跑三週半，模型明顯變好，就釋出了。這種決策在訓練模型時經常發生，你不能無限期留著不釋出。研究人員的新改進要收進來，要重做預訓練，要做後訓練，要給使用者，要做安全測試。整個迴圈被這些現實約束推著往前走。

Sebastian 的補充更乾脆：在算力無限的理想世界裡，四個旋鈕全開。現實裡算力有限，你要決定這一筆錢花在把模型做大，還是花在把知識解鎖得更徹底。今年 Claude 4.5 的表現就說明了一件事，把大量預算砸進預訓練未必是最好的選擇，同樣的錢花在推理時縮放或者後訓練上可能回報更高。

## 資料才是真正的護城河

預訓練資料集的規模以萬億 token 計。小模型五到十萬億，Qwen 有文件記錄到五十萬億，據說閉源實驗室能到一百萬億。真正用來訓練模型的只是這個漏斗裡很小的一部分。

合成資料的定義比很多人想的寬。DeepSeek 和 AI2 都做過 OCR 方向的論文，用光學字元識別從海量 PDF 裡提取文字，這被歸類為預訓練的合成資料。ChatGPT 現在能給出很好的答案，拿這些最好的答案去訓練，也是合成資料。這和早期 ChatGPT 幻覺資料完全不是一回事。

資料配比的方法論已經相當科學化。從 Common Crawl 裡取樣不同來源的小樣本，比如 GitHub、Stack Exchange、Reddit、維基百科，訓練小模型，測評估表現，做線性迴歸，得到最優配比。評估集一變，最優配比就變了。OLMo 3 做的大量工作就是加入推理相關的新資料來源，讓模型在數學和程式碼上更強，然後重新跑這套配比流程。

> 如果你改變評估方式，你的資料集就會大幅改變。OLMo 3 的很多工作就是加入新的推理資料來源，讓模型在數學和程式碼上更強，然後做這個混合流程，它會給你答案。（Nathan Lambert）

版權這塊，2025 年還有一層複雜性被大多數人略過了。即使你買了電子書，用它訓練模型也處在灰色地帶。大公司已經開始找私有企業談專有資料授權，私有企業越來越保護自己的資料，因為那是未來幾年的護城河。製藥、法律、金融這些行業，遲早會從前沿實驗室挖人，用自己的私有資料訓練內部模型。這些資料你根本拿不到，臨床試驗資料大部分時候不對外開放。從這個角度看，預訓練縮放遠沒有死，只是戰場從通用模型轉向了垂直領域。

## RLVR 解鎖了什麼

可驗證獎勵強化學習（Reinforcement Learning with Verifiable Rewards，RLVR）是 2025 年最重要的訓練方法突破。Nathan 的團隊在 DeepSeek 之前就在 Tulu 3 的工作裡提出了這個術語，真正的訓練突破是 DeepSeek 做的。

原理不復雜：讓模型生成答案，用可驗證的方式判斷對錯，正確率就是強化學習的獎勵。數學題有標準答案，程式碼題能跑測試用例，這些領域天然適合。傳統 RLHF 用的是人類偏好訓練出來的獎勵模型，問題域一下子窄了很多。換成可驗證獎勵之後，最佳化可以擴充套件到更大的規模。

Sebastian 給了一個親手做過的例子：拿 Qwen 3 基礎模型在 MATH-500 上跑 RLVR，基礎模型準確率大約 15%，只跑了 50 步，幾分鐘，準確率從 15% 跳到 50%。

這個例子背後有爭議。Nathan 指出，今年有兩篇論文討論 Qwen 的資料汙染問題，具體表現是：如果你把數學題的單詞保留但改掉數字，Qwen 會不加工具地給出一個高精度小數答案。這意味著它在某個時刻見過幾乎一模一樣的問題，並且用工具算出了高精度結果。一個不帶工具的語言模型不可能天然產生這種輸出。所以從 15% 到 50% 的提升，到底有多少是真正學會了新知識，有多少隻是把預訓練裡已有的東西啟用出來，研究社群還沒有定論。

即使只是啟用，這件事本身也很漂亮。你只給模型問題和答案，不約束中間過程，模型會自己發展出逐步推導的行為，會在發現自己算錯的時候說“啊，我搞錯了，讓我重來”。DeepSeek R1 論文裡把這個叫做 aha moment。Nathan 的補充是，預訓練階段模型已經看過整個網際網路，包括數學課的轉錄文字里有人說“你試試這個，哦我搞砸了”。RLVR 做的是放大這類行為，因為它們在讓模型思考更久、檢查自己工作的時候非常有用。

> 我認為這些 aha moment 有點假，因為預訓練階段你實際上已經看過了整個網際網路。你肯定見過有人在解釋自己的工作，甚至是口頭的，比如數學講座的轉錄：“你試試這個，哦我搞砸了。”強化學習，這套 RLVR，非常擅長放大這些行為，因為它們在讓模型思考更久、檢查自己工作的時候非常有用。（Nathan Lambert）

RLVR 和推理時縮放是一個完美的組合。DeepSeek R1 論文展示了訓練越久，模型回答越長，用的 token 越多。簡單任務上變貴了，複雜任務上的準確率提升了。這兩個東西互相強化，一起改變了模型的使用體驗。

## 後訓練的完整鏈條

Nathan 把後訓練拆成三段講。

中期訓練提供模型學習技能所需的基礎。o1 這類推理模型能出現，前提是中期訓練階段有大量精心策劃的推理軌跡資料，就是模型把問題拆成中間步驟、一步步求解的文字。沒有這些資料，後訓練階段的強化學習就沒有可放大的行為。

RLVR 讓模型在難題上反覆試錯，把大量算力投入到 trial-and-error 學習裡。這裡有個關鍵機制叫 GRPO，獎勵基於同一個問題的多個答案之間的相對好壞來分配。所有答案都一樣，就沒有訊號。所以實驗室在找更難的題，這就是為什麼你會聽到科學領域、更難的軟體工程問題，那些領域裡模型很難全對，才有訓練訊號。

RLHF 是最後收尾，讓模型更好用。組織方式、語氣、風格這些人類反饋能教會的東西，是 ChatGPT 當年讓人覺得神奇的根源。Nathan 說風格、格式和解題方法在訓練時其實緊密相連，RLHF 仍然可以讓模型數學更好，可驗證領域是更直接的路徑。

算力分配上，Nathan 提到 Grok 4 透露過預訓練和後訓練用的算力差不多。兩者的硬體特性完全不同。預訓練是計算密集型的，所有 GPU 互相通訊，效率極高。強化學習是記憶體密集型的，要生成很長的序列，注意力機制在長序列下記憶體是二次增長。從時間維度看，RL 訓練的天數正在接近預訓練，同時用的 GPU 數量少一些。實驗室裡有條經驗法則，預訓練不要超過一個月，因為大規模訓練失敗是常態，十萬塊 GPU 裡幾乎肯定至少有一塊是壞的。你規劃了兩個月的大叢集第五十天掛了，機會成本太大。GPT-4 那種訓練三個月、所有人都吃驚它居然成了的 YOLO 式做法，現在沒人想再來一次。

## 從零構建是最好的學習方式

Sebastian 的兩本書核心方法論就一句話：自己動手寫程式碼。圖的錯誤你可能看不出來，概念解釋你可能理解偏，程式碼能跑就是對的，不能跑就是錯的。這是最精確的驗證方式。

他推薦的學習路徑很具體：先用 GPT-2 這樣的小模型在一張 GPU 上跑通，理解注意力機制、預訓練、監督微調各自在幹什麼。然後去 Hugging Face 上看目標模型的 config 檔案，一百行左右的人類可讀配置裡寫清楚了用了多少層、什麼注意力機制、什麼位置編碼。從 GPT-2 出發，把這些元件一個個加上去，載入預訓練權重，看輸出能不能和 Transformers 庫的參考實現對齊。對齊就等於架構寫對了，等於給自己發了一個驗證獎勵。

> 最難的地方在於找到你要理解的那一部分，這就像大海撈針。但好在它有一個能跑的完整實現，你可以反向工作。（Sebastian Raschka）

他自己復現 OLMo 3 的時候，卡在 RoPE 位置編碼的 YaRN 擴充套件上，那裡有自定義的縮放邏輯，一開始怎麼都對不上。在一整天的掙扎裡，你反而真正理解了那個東西在幹什麼。最後用單元測試對上了參考實現，那種確認感是看論文得不到的。

這裡有個更深的討論。Lex 提到一份對 791 名十年以上經驗的專業開發者的調查，結果顯示資深開發者比初級開發者更傾向於讓 AI 生成超過一半的交付程式碼。直覺上你會覺得初級開發者更需要 AI，資料反過來了。一種解釋是資深開發者更擅長審查 AI 生成的程式碼，所以更信任它。另一種解釋是 AI 還解決不了初級開發者面對的那些問題。

Sebastian 的擔憂是：你從來不自己動手，怎麼成為專家？數學課本上直接看答案也能學到東西，先自己做一遍、卡住、再去看答案，你會把解法放進自己的心智框架裡。LLM 永遠在旁邊，你還願不願意經歷那個掙扎的過程？掙扎不舒服，不經歷又永遠到不了那個能用 LLM 做槓桿的專家位置。

> 我認為存在一個黃金平衡點，也許訣竅是你每天安排專門的兩小時離線時間用來學習，一天中其餘時間使用 LLM。我認為人們仍然要投資自己，這很重要，不能把所有事都交給 LLM。（Sebastian Raschka）

## 職業選擇：學術界、開源實驗室還是前沿實驗室

Nathan 把這幾個選項的梯度講得很直白：越閉源，錢越多，你能拿到的 credit 越少。學術界能清楚地建立作品集，博士生基本不拿錢，能走這條路的人往往有比較穩定的安全網。前沿實驗室給的錢是改變人生的量級，OpenAI 平均每位員工每年股票收入超過一百萬美元，可你在裡面是一臺機器上的齒輪，發表越來越少。

他帶學生的時候會跟學生說：如果你拿到的是 OpenAI 的 offer，離開博士專案我覺得可以理解；如果是個可能歸零的隨機創業公司，別去。

有個觀察很有意思。Nathan 說他的教授朋友平均來說比在前沿實驗室工作的朋友更快樂。原因不在工作量，教授要寫基金、要教書、要做研究，三份工作合一。原因在有學生、有持續的指導關係、有一個跟人有關的使命。在事情變化很快、很混亂的時代，這種東西對人的滋養很強。

9/9/6 的工作文化被拿出來討論，早九點到晚九點、一週六天，七十二小時。Sebastian 說這幾乎翻轉了他對學術界的認知，以前當教授是三份工作合一的壓力，現在前沿實驗室的強度讓教授相比之下顯得沒那麼誇張。Nathan 提到《蘋果在中國》那本書裡寫的供應鏈團隊，有專門的“拯救婚姻”專案代號，同事看到某個人需要回家陪家人，會發紅色警報讓這個人週末必須回去。書裡還提到有人因為這種工作強度去世。這些人沒有被強迫，他們對產品太有熱情，自己進入了那種狀態。Sebastian 說自己也有過，做出過背部和頸部的毛病，沒人逼他，是他自己想幹。

## 文字擴散、工具呼叫、持續學習

文字擴散模型的邏輯從影象生成搬過來。影象那邊用擴散過程逐步去噪，效果超過了 GAN。文字是離散的，直覺上不好做去噪，BERT 那種並行填空的思路給了啟發：從一段隨機文字出發，多輪迭代逐步精煉。好處是一次可以生成多個 token，理論上更快。Google 已經發布了 Gemini Diffusion，聲稱在多數基準上同等質量下生成速度快很多。

Nathan 聽到的實際用例是程式碼創業公司。使用者說“改一下這個”，返回的是一大段程式碼 diff，不需要太多外部上下文，用擴散模型能很快生成很長的 diff。用自迴歸模型要幾分鐘，使用者等不了，每一秒都在流失使用者。工具呼叫這塊擴散模型不好做，自迴歸的鏈條被外部工具打斷之後，擴散的並行生成沒法自然銜接。Nathan 原本以為不同型別模型會更快地分化到不同用途，實際比預想慢。

工具呼叫本身是 2025 年一個重要的解鎖。gpt-oss 是第一個真正帶著工具使用意識訓練的開源權重模型，生態還沒完全準備好。幻覺問題最好的解法之一就是別讓模型硬記，數學用計算器、事實查搜尋。Sebastian 說這沒法完全解決幻覺，模型得知道什麼時候該調工具，網際網路上的資訊也不總是對的。方向是對的。

還有一篇 Sebastian 很喜歡的論文，遞迴語言模型。做長上下文任務時把整段內容拆成子任務，讓模型決定哪些子任務合理，遞迴呼叫自己去解決，每個子任務可以調工具去查資料，最後彙總。這個思路的價值在不改進模型本身，改進的是模型被使用的方式。

持續學習是目前最模糊的地帶。Nathan 給了個判斷標準：語言模型能解決很多工，可 AI 社群一個關鍵里程碑是 AI 能替代任何遠端工作者，接收資訊、解決數字任務。限制在語言模型不會像員工那樣從反饋裡學習。你僱一個編輯，他可能犯錯，你告訴他，他不會再犯。語言模型沒有這種快速修改自己、快速學習的能力。

反方觀點是：也許不需要改權重，只需要給更多上下文。你可以寫很長的文件，說“這是我所有的部落格文章，我喜歡這種寫法，我的聲音基於這個”。大部分人不會給模型提供這些。智慧體模型才剛剛開始。取捨就在這裡：透過持續學習更新權重讓模型快速學習，還是給更多上下文、靠模型本身足夠聰明來製造“學會了”的表象。

Sebastian 的看法更務實：權重更新這件事已經有不同版本在做了。GPT-5 到 5.1 到 5.2 就是快速策劃的更新，社群反饋了做不到的事情，更新權重，釋出下一個模型。RLVR 是更細粒度的版本，跑一遍就更新一次。問題在不能對每個人單獨做，成本太高。這件事只有在裝置端、成本由消費者承擔的時候才可行，就像蘋果把模型放在手機上讓它從使用中學習。

## 機器人、世界模型和 AGI 時間線

Sebastian 提到 Meta 有一篇叫 Coder World Models 的論文，把世界模型的概念用到 LLM 上：不只檢查最終答案對不對，還檢查中間變數對不對。模型在學一個程式碼環境。這個方向很合理，只是貴。它讓整個過程更精細，不只建模結果，還建模過程。

他回憶起讀研時參加 CASP 蛋白質結構預測競賽的經歷。AlphaFold 第一版顯式建模了物理相互作用、分子物理、不可能的角度這些東西。到第二代，這些被去掉了，直接暴力縮放。LLM 現在正處在暴力縮放有效的階段，Sebastian 覺得某個時間點把物理約束那套東西找回來可能是有意義的。CASP 那種“benchmark 存在但沒人知道答案，要等實驗揭曉”的機制，LLM 領域也需要一個。

機器人這塊 Nathan 的態度很分裂。他對消費級家用學習型機器人非常悲觀，對自動駕駛非常樂觀，對倉儲自動化這類為機器人重新設計過的環境也非常樂觀。Amazon 建了全新的配送中心，從一開始就為機器人設計，沒按人類習慣建好再塞機器人進去。這條路徑合理得多，重複性任務、人類能做但不想做、環境可以重新設計。可它比大部分人預測的花更長時間。

Lex 補了一個很少被提及的點：安全。LLM 裡的失敗模式是有趣的談資，在機器人領域、在人們家裡、在數百萬分鐘和數十億次互動裡，你幾乎不被允許失敗。具身系統放到真實世界裡，你要解決的問題比單純思考通用機器人學習問題多得多。

AGI 和 ASI 的定義沒有人真正達成一致。Nathan 說有個還算合理的錨點是“能復現大部分數字經濟工作”，遠端工作者是個不錯的例子。這個定義他不喜歡。今天語言模型雖然強大，遠不是即插即用的遠端工作者。有些事比遠端工作難得多，做出一個你事先無法設想的科學發現，或者讀取所有醫療記錄，找到沒人知道的疾病關聯，發現某種常見藥能治療某種罕見癌症。這些是超級智慧級別的問題。

AI 2027 報告把目標定在超級人類程式設計師，然後超級 AI 研究員，再是超級智慧 AI 研究員，最後是完整 ASI。最初的預測 2027 到 2028 年，後來推後三到四年到 2031 年。Nathan 的預測比 2031 年還要靠後。他所屬的陣營認為 AI 是鋸齒狀的，有些事極其擅長，有些事非常糟糕。當模型接近自動化軟體工程師的時候，它在傳統 ML 系統和前端上很強，在分散式 ML 上很差，因為大規模分散式學習的訓練資料很少。這種鋸齒會持續存在。人類有創造力，會利用模型的超強能力去填補模型的弱點，快速推進。最好的 AI 研究員就是能啟用這種超能力的人。

> 大科技公司花一千億美元的速度，會比我們得到一個自動化 AI 研究員、引發 AI 研究奇點的速度快得多。（Nathan Lambert）

## 廣告、併購和 Llama 的黃昏

Nathan 預測廣告會來。現在 LLM 便宜是因為大量補貼，最終會透過廣告變現。Google 最有可能先做成這件事，它已經有廣告供應側。如果它想清楚怎麼把 Gemini 應用的需求轉化成有用的廣告，隨時可以開閘。現在沒人做的原因很現實：競爭對手都沒做，先做的會因為新聞頭條損失聲譽。只要有人開了頭，飛輪一旦轉起來，十年後廣告收入能支撐更好的研發、更好的模型，這個邏輯是 YouTube 主導影片市場的邏輯。Netflix 害怕 YouTube，因為 YouTube 的廣告模式讓它能持續投入，Netflix 靠訂閱費。

併購方面，Dario 不會賣 Anthropic，這是 Nathan 的判斷。整合壓力已經出現：Groq 估值兩百億美元，Scale AI 接近三百億。有些交易結構對矽谷生態是有害的，那種授權式收購，沒做到全員被帶上，只拿走頂尖人才。你加入一家創業公司，即使不太成功，公司也可能被低價收購，你的期權能兌現。授權式收購把這個生態的底層邏輯抽掉了。

Llama 的故事被拿出來當案例。Nathan 不覺得會有開源權重的 Llama 5。Sebastian 的分析是：Llama 1、2、3 是開源權重模型的先驅，社群很愛。問題出在上層管理者看到 Llama 在社群裡受歡迎，想把開源當成更大的聲量工具。Llama 4 那些超大模型是為了刷榜，可 Llama 的目標從來不該是刷榜擊敗 ChatGPT。目標是讓人們能用、能信任、能修改、能理解。這包括有小模型，不必是最好的模型。這些模型因為用了偏好資料專門調過，在 benchmark 上表現比實際好，小模型又沒做，沒人跑得動大模型，整個事情就變得很奇怪。Nathan 的補充更直接：在內部分歧和錯位的激勵下崩潰了，研究人員想做出最好的模型，中間有一層管理層想證明自己做了這些事。

還有個被低估的細節。社群對 Llama 4 的猛烈批評，可能反過來推了 Meta 一把。公司本來指望正面報道，結果是負面報道，心想“我們試著做了件好事，給你們一個開源模型，你們這麼罵”，於是就有了“那我們重新評估一下和開源的關係”。X 上的輿論生態能把社群帶偏，Groq 4.1 和 Grok Code Fast 也是類似的例子，Reddit 和 X 上沒人誇，用的人卻不少。

## ATOM 專案和開源模型的美國缺口

Nathan 花了五個月做政策方面的工作，推一個叫 ATOM 的專案，American Truly Open Models。起因是 2025 年 7 月，市面上有四五個 DeepSeek 級別的中國開源權重模型，美國這邊是零。

他的論證邏輯很清晰：開源模型是 AI 研究的引擎，人們做研究是從這些模型開始的，擁有它們很重要。美國應該在造最好的模型，這樣最好的研究發生在美國，美國公司能從“AI 研究發生在這裡”這件事上獲取價值。現在的局面是，網站上的圖表全是 Qwen、Qwen、Qwen，這些來自中國公司的優秀模型正在美國和國際上積累影響力。美國在 AI 上的支出遠超中國。造一個比閉源前沿實驗室落後半代到一代的開源模型，成本大約一億美元。很多錢，跟這些公司的體量比不算什麼。需要一箇中心化的力量把願意做這件事的人聚起來。

反饋是積極的。NSF 給了 AI2 四年一億美元的資助，這是 NSF 歷史上最大的電腦科學 grant。英偉達 2025 年動作更大，Nemotron 3 釋出的模型和部分資料都更開放，英偉達這個體量的公司很少有願意這麼做的。Reflection AI 二十億美元的融資明確說要造美國開源模型。白宮的 AI 行動計劃裡有專門一節叫“鼓勵開源和開放權重 AI”，定義這類模型並論證它們對創新和創業的獨特價值。

Nathan 說他本來可以讓這個故事更病毒式傳播，講中國 AI 和威權國家結合、變成 ASI、統治世界、所以我們需要自己的美國模型。他刻意講創新和科學，那個結局更現實，也是他更願意去實現的世界。

關於曼哈頓計劃式的中央化和保密，Sebastian 和 Nathan 都認為不可能。知識一旦存在就 containment 不住。訓練這些模型的成本，一億到一億美元，全世界有大量的人能夠達到。這些模型會在世界各地被訓練出來。要阻止這件事，需要對網際網路做一次徹底的重構，建一道美國的大防火牆，而防火牆是已知不太好用的。

## 硬體、偉人和一百年後

英偉達的護城河在 CUDA 生態，二十年積累下來的相容性。Sebastian 讀研時做生物物理模擬、分子動力學，實驗室裡就有一塊 Tesla GPU 專門做計算。那時候沒人知道這是為 AI 準備的。有了 LLM 之後，複製一個 CUDA 容易多了，當初花十五年是因為難。訓練和推理的算力分離正在發生，Groq 被收購就是為了這個，Vera Rubin 架構裡有專門為 pre-fill 設計的晶片，不需要高頻寬記憶體，per flop 的擁有成本低很多。只要 AI 進展的速度快，英偉達的平臺最靈活，人們會想要這個。如果停滯了，定製晶片就有更多時間去做。

關於偉人史觀，Nathan 的觀點是：這些人讓事情發生得更早、更快。科學上很多偉大科學家都承認自己在正確的時間出現在正確的地點，最終別人也會有這個想法。Jensen 讓 GPU 革命 manifest 得更快、更聚焦。ChatGPT 最終會發生，這種建設最終會發生，不會這麼快。另一條時間線裡，深度學習可能再等二十年，或者又一個寒冬來了，因為 GPU 不在。Sebastian 說這就像投資 ETF 和個股，個股波動更大，最終會到同一個地方，區別在聚焦。熱情和專注讓事情提前發生。

一百年後回頭看，Sebastian 認為被記住的是“計算”這個大傘。被記住的並非 AI、CUDA、GPU 的具體細節，是計算本身。這可能是一個摩爾定律式的討論。Nathan 想的是連線性，網際網路和算力能不能合併。連線人這件事非常基礎，你想找到世界上某個領域最好的人，那個人在世界某個地方，資訊能流動到那裡是根本性的。AI 也依賴這個。他之前說“一箇中心模型”的夢想正在死去，正在演化的是人們為不同任務擁有多個 agent，已經在發生了，不同任務用不同 Claude。這被描述為資料中心裡的多個 AGI，每個管理一些東西，互相通訊。這極其依賴網路和資訊自由流動，網路，尤其 GPU 之間的網路，本身就是算力縮放的一部分。

一百年後的人怎麼和裝置互動。Sebastian 說很難想象還是手機和膝上型電腦，會不會是植入裝置。Lex 說必須是腦機介面，除非人類和現實互動的方式徹底改變。Nathan 覺得人們還是會隨身帶一塊物理的計算磚，人需要一個私密的介面。可能不像 iPhone，可能用得少很多，你還是會帶點什麼。他不確定人腦能不能處理非視覺方式灌進來的資訊，比如你給計算機一個訊號，然後你就知道了你的收件箱，這事人腦能不能承受。人一百年不會變。Agency 和社群是人真正想要的東西，你親近的人、能和他們一起做事、能給自己的生活賦予意義。這些東西不會在我們可以討論的時間尺度上被人類生物學改變。

Lex 補了一段必須被記住的話：社會轉型過程中大量工作消失，每一個失去的工作都是一個正在受苦的人。落到每個具體的人身上，那是真實的個人悲劇。我們討論經濟學、討論 GDP 會好、討論新工作會被創造出來的時候，不能忘記這一點。Nathan 說他希望社會在 AI 垃圾內容裡淹得足夠深，然後突然醒悟，受不了了，物理世界的東西重新獲得溢價。就像藝術，數字複製品可以完美，你站在博物館看真跡，你知道那是人手做出來的，那種欣賞是不一樣的。

關於人類和機器的戰爭，Sebastian 說他不擔心 AI 接管，原因在意識。人類決定自己想做什麼，AI 在目前的實現裡，你告訴它做什麼它就做什麼。代理權還在你手裡，它沒有拿走你的代理權，它變成了一個工具。它比其他工具更自動、更強大，仍然是你在掌控。

## 如果要在 2026 年做點什麼

這期節目資訊量很大，落到行動上，對讀者真正有用的東西集中在幾個方向。下面這幾條可以作為自己的行動清單。

- **自己從零寫一遍 GPT-2，然後復現一個當紅開源模型的架構。**單張 GPU 能跑通就行。看 config 檔案，列元件，從 GPT-2 出發一個個加上去，載入預訓練權重，用輸出對齊參考實現作為驗證。這個過程的摩擦本身就是學習。
- **把每天兩小時設成離線學習時間，其餘時間才用 LLM。**掙扎不是敵人，卡住才是真正在學的證據。把一切外包出去，兩年後你會發現自己再也夠不著專家用 LLM 做槓桿的那個位置。
- **如果做研究，先做窄，再做深。**讀三五篇論文就能站到某個細分領域的前沿，然後寫一封認真的郵件給作者。匿名 X 賬號和 ML 圈的距離比想象中近得多。沒算力的人做 eval 是最優解：找到 Claude 明顯失敗的地方，如果你的 eval 被下一代模型寫進部落格，職業火箭就起飛了。
- **如果做產品，關注文字擴散在長 diff 生成上的應用，以及工具呼叫在開源生態裡的缺口。**前者已經被程式碼創業公司用來解決使用者等待時間問題，後者是開源模型落後閉源模型一個身位的地方，誰補上都可能吃到紅利。
- **如果做企業決策，考慮用中國開源權重模型做內部部署。**許可證乾淨，可以在自己的硬體上跑，資料不出內網。美國大公司因為安全顧慮不會買中國 API，下載權重自己部署是另一回事。這正在成為很多美國創業公司的預設選項。
- **如果你是資深開發者，別隻把 AI 當加速器，把它當教你新東西的合作者。**調查資料裡資深開發者比初級開發者更依賴 AI 生成交付程式碼，真正的槓桿在於用 AI 拓展你原本夠不著的領域，用它做你已經會做的事價值有限。
- **如果你在矽谷，走出去。**讀歷史書，去別的地方看看。Twitter 和 Substack 不是整個世界。泡泡有用，待在泡泡裡太久會失去判斷現實的能力。一百年後回頭看，被記住的是計算本身。計算最終服務於什麼，取決於此刻還在泡泡外面看著這一切的人。