斯蒂芬·沃爾夫勒姆:ChatGPT 與真理、現實和計算的本質
Stephen Wolfram: ChatGPT and the Nature of Truth, Reality & Computation
計算科學家談 ChatGPT 的工作原理、語言模型與真理的關係,以及計算視角下的宇宙觀。
2023年5月,斯蒂芬·沃爾夫勒姆(Stephen Wolfram)第四次坐到 Lex Fridman 的麥克風前。就在這期節目上線前不久,他把 ChatGPT 接進了 Wolfram Alpha 和 Wolfram Language。
兩個系統的底層邏輯差得很遠。ChatGPT 從人類寫在網上的一萬億詞文字里學出“下一個詞大概是什麼”,然後一個詞一個詞往外吐。Wolfram Alpha 背後是四十多年積累的形式化知識體系,把數學、科學、系統化的事實翻譯成機器可以一步步推演的結構。
沃爾夫勒姆自己的總結很乾脆:ChatGPT 寬而淺,他這四十年在做的東西也寬,但真正關鍵的是深。
這句判斷解釋了一個反覆出現的現象。同一個模型,寫一首模仿莎士比亞的詩幾乎無懈可擊,算一個三位數乘三位數再開平方就開始犯迷糊。
兩條技術路線,兩種對世界的理解
先說 ChatGPT 在做什麼。
你給它一段提示,它試著把這段提示按照人類寫作的統計規律續下去。技術上,它做的事情和人腦處理語言最初的那幾百毫秒有相似之處:神經元被啟用,訊號在層與層之間擴散,最後落在一個詞上。這種計算很淺,淺到只有幾十層,但它鋪在一萬億詞的語料上,覆蓋面極廣。
再說 Wolfram 那條路。
從他二十歲出頭開始,他就在琢磨一件事:能不能把人類文明裡所有能形式化的知識,都變成機器可以執行的計算。數學公式、物理常數、化學元素、地理資料、歷史時間線,這些內容現在都能被 Wolfram Language 呼叫,能參與多步推演,能算出從沒被任何人算過的結果。
兩條路的成本結構完全不同。收集網頁文字便宜,幾乎免費;把知識一條條形式化,貴得離譜,需要人力、專家、幾十年的耐心。沃爾夫勒姆認為,只有後者能壘起真正的高度。
ChatGPT 那種做法,是從人類為了別的目的寫下的東西里覓食。我們做的是搭建計算系統,讓整個人類文明的專家知識變成可以可靠算出來的東西。(斯蒂芬·沃爾夫勒姆)
這裡有個隱含的賭注:可靠。語言模型的輸出永遠帶著機率的味道,同一句話問兩遍可能得到兩個答案。計算系統的輸出不這樣,只要輸入和規則確定,結果就確定。在需要負責任的場景裡,這個差別是生死線。
人類真正的分水嶺,是學會了搭塔
沃爾夫勒姆把人類的能力切成兩層。
第一層是幾千年前普通人的日常智慧。什麼東西一眼能看出來,什麼判斷靠天生的神經結構就夠,什麼經驗是活一輩子自然長出來的。這一層,人和不少動物共享,差別沒有我們想的那麼大。
第二層出現得晚得多。邏輯、數學、科學,這一整套形式化工具,是文明史上真正的分水嶺。有了它們,人能搭塔:拿一條規則推出一個不顯然的結論,再拿這個結論推出下一個,一路往上,直到抵達一個憑直覺永遠夠不著的地方。
這兩層的區別可以這樣感受。第一層是“我一眼就知道答案”。第二層是“我拿這套規則一步一步推出來,推完才發現答案和我猜的相反,但我信這個推出來的結果”。
Wolfram Language 的全部野心,就是造這種塔。ChatGPT 那種“我好像在哪兒見過類似的句子”,始終停在地面那一層。
這個區分也解釋了語言模型的邊界在哪裡。它在地面層強得驚人,因為人類寫下的文字絕大多數都是地面層的產物。一旦任務需要爬塔,它就沒有梯子,只能從記憶裡翻出形狀相似的段落去蒙。
一行不到的程式碼,跑出一整個宇宙
要理解沃爾夫勒姆為什麼對計算有這麼強的信心,得回到1980年代初。
他當時在幹一件看起來毫無用處的事:隨手造一些極小的程式,小到不足一行程式碼,有些規則甚至是隨機拼出來的,然後把它們跑起來,看會發生什麼。
結果把他自己震住了。即使極度簡單的程式,跑起來也會產生極其複雜的行為。複雜到沒有語言能描述,複雜到像生物,像雪花,像一整片森林。
他花了好幾年才消化這件事。真正讓他震住的,並非複雜本身,而是複雜從哪兒來。程式裡沒有寫“長出森林”,程式裡只有一條重寫規則,森林是自己冒出來的。
他後來把這件事讀成自然界的底層運作方式。規則可以極簡,結果可以極繁。物理世界看起來也是這樣:幾條基本定律,演化出星系、生命,以及正在爭論這件事的兩個人。
問題在於,知道規則這件事,在實踐上能換來什麼。
知道規則,和能預測,中間隔著一條鴻溝
這期訪談裡最重要的概念在這裡出現:計算不可約性(computational irreducibility)。
設想你掌握了某個系統的全部規則。按直覺,你就掌握了一切,因為你可以把規則跑一遍。真正的問題是:你能不能跳過那些步驟,直接說出跑一百萬步之後的結果?
大多數時候不能。唯一的辦法就是老老實實跑那一百萬步。
如果你能約化掉那個計算,那個計算本身就沒有任何意義了。計算之所以有價值,恰恰在於你必須真的做它,才能知道答案。(斯蒂芬·沃爾夫勒姆)
這句話的殺傷力超出技術範疇。它意味著宇宙自己算得飛快,而身處宇宙內部的我們,沒有任何辦法提前知道它會算出什麼。宇宙用宇宙能有的最快速度在跑,我們連插隊的資格都沒有。
按他的估計,宇宙每秒重寫自己 10 的 100 次方次。這個數字遠超人類任何計算能力,也遠超任何可以想象的模擬能力。所以“我們有朝一日能模擬整個宇宙”這句話,在物理上就是空想。
那科學為什麼還有意義?
不可約的世界裡,總有可約的口袋
因為不可約的計算裡,永遠散落著可約化的口袋。
你沒法跳過全部,但你總能在某些區域性提前知道結果。科學的整個故事,人類幾乎所有重要的發明,很大一部分就是找到這些口袋,然後把自己掛上去。
沃爾夫勒姆說他意識到,我們恰好活在一個可預測性密度合適的位置上。房間裡的空氣分子在亂飛,理論上是一個複雜到無法追蹤的故事,但你不必追蹤。你只需要知道,這幾秒鐘空氣還是空氣,不會有大事發生。這種可約化的口袋你抓住了,才能在房間裡正常走路、正常說話、正常思考。
生命本身就建立在大量可約化口袋之上。如果世界處處都無法壓縮成簡潔敘述,你連下一秒該做什麼都決定不了。每一刻都要從原子層面重新算起,這種存在方式撐不過一秒。
他還提到,壓縮這件事有代價。你抓的口袋越大,丟掉的細節越多。科學的進步經常表現為換一個更大的口袋,或者發現原來那個口袋在某個方向上漏了。
這套視角還有一個副產品,沃爾夫勒姆說這是他近幾年最喜歡的發現。
觀察者:把無數構型壓成一個數字
把底層的計算不可約性,和“我們是計算能力有限的觀察者”這兩件事放在一起推,能推出二十世紀發現的主要物理定律。這是他自己的評價,也說明他為什麼認為觀察者這個概念值得單獨立項研究。
這個專案被這波 AI 熱潮打斷了。他本來想搞清楚:什麼是觀察者?
他的定義很物理。拿一箱氣體舉例,你測的是壓強。氣體分子撞擊活塞的方式有無數種,你在意的只有總和。無數種微觀構型,在你眼裡完全等價。
觀察者的核心動作,就是把大量不同構型歸併成“我只關心這一個聚合特徵”。
這類歸併在物理裡到處都是。溫度是歸併,密度是歸併,顏色是人類視網膜對波長的歸併。每一次歸併,都換來了一個可以拿在手裡討論的東西,代價是丟掉了底層細節。
但歸併本身還不夠。要讓物理定律出現,還差一個條件,看起來平淡無奇,實際非常關鍵:我們相信自己在時間中持續存在。
為什麼你相信自己還是剛才那個你
微觀上看,這件事很古怪。
按照他的理論,每一刻鐘的我們,都由不同的空間原子組成。上一刻的你和這一刻的你,在微觀層面沒有任何共享的部分。就像一條河,每一秒流過的水都換了一遍,可你還叫它同一條河。
那為什麼我們覺得自己始終是同一個人?
因為意識擁有一條單一的經驗線索。這條線索把破碎的微觀事件縫成了一段連續敘事,於是才有“剛才發生了一件確定的事,現在又發生了一件”這種感受。
沃爾夫勒姆強調,這條線索來自計算受限系統的一種簡化。宇宙本身並沒有這種普遍特徵。一般的計算系統可以並行分裂出無數條經驗線,人類必須把它們壓成一條,否則沒法做決策,也沒法說話。
量子力學就是一個例子。系統內部在分裂成多條經驗線,人類必須在感知層面把它們縫合起來,才能說“測量得到了一個確定值”。縫合動作發生在觀察者這邊,代價是我們永遠看不到縫合之前的全貌。
順著這個思路,他還說了一句挺刺人的話:很多人預設意識是宇宙中最高階的東西,他不這麼看。意識算不上宇宙的通則,它只是一種特化。特化意味著能力上的取捨,你換來了連貫的自我,同時失去了同時活在多條經驗線裡的可能。
多線索並存的心智是什麼感覺,很難想象,但在他看來那才是更一般的狀態。我們這種“一條線”的心智,在整個可能性空間裡屬於稀有配置。
雪花:一次漂亮的科學失敗
訪談裡有一段長長的雪花故事。表面在聊物理,落點在科學方法論上的一個陷阱。
雪花有形狀。它從六邊形起步,長出枝杈,枝杈再長枝杈,最後填回一個更大的六邊形。原因挺有意思:一塊冰凝結時會釋放熱量,把周圍區域性加熱,於是緊鄰的位置不容易再結冰。這個抑制效應把枝杈推開了,讓它們彼此分離地長。
沃爾夫勒姆用極簡單的離散模型復現了這個過程。他還發現一件事:當枝杈長回去填滿那個大六邊形時,會留下一些填不上的小孔。他起初不確定,就去翻雪花的實拍照片,果然,照片上真有這些小孔,像生長過程留下的疤痕。
有意思的地方在後面。幾十年前有一批關於雪花生長的文獻,給出了漂亮的曲線,算出了生長速率,數字看著還挺準。
他仔細一看:按照那些模型,雪花應該是球形的。
生長速率對了,形狀全錯。而形狀恰恰是雪花最顯眼的特徵,是任何人第一眼就會注意到的東西。模型抓住了沒人關心的一項,漏掉了所有人都在看的那一項。
沒有哪個模型是正確的,除了實際系統本身。問題只在於:它有沒有抓住你在意的東西?(斯蒂芬·沃爾夫勒姆)
什麼樣的模型算好模型?答案取決於你打算拿它幹什麼,取決於你要用它造什麼技術。同樣的系統,做氣候預測的人和做材料設計的人,需要的模型完全不同,評價標準也不同。
科學上大量爭論(“你這個模型不對”“不對是因為它沒抓住我在意的那個特徵”)本質上都在這一點上打架,只不過雙方經常沒說清自己在意的到底是什麼。說清楚了,很多爭論會自動消失。
唯一的例外是:如果你聲稱自己建模了整個宇宙,那才有“正確”這回事。但也僅限於底層意義。而且就算你有了正確的模型,你也跑不動它,因為計算不可約。宇宙的唯一一次執行,就是宇宙本身。
符號:把世界塞進腦子的唯一辦法
從物理回到工程,中間隔著一個問題:我們憑什麼能把複雜世界塞進腦子裡?
看一個房間。視網膜上有幾百萬個畫素,但你記住的是“那裡有兩把椅子、一張桌子”。畫素被壓縮成了符號。人類認知的核心動作就在這兒落地,把無限細節壓成有限的東西。
自然語言是最初的壓縮形式,也是人類文明共享的一套符號系統。它有個致命缺點:它不夠精確,沒法直接計算。你說“兩把椅子”,這句話本身算不出任何東西。
於是就有了符號程式設計。1979年前後,沃爾夫勒姆在設計他第一個大型計算機系統時,想出了一個表示方式:把一切寫成“函式加引數”的結構化表示式。這個函式不一定立刻求值,它就靜靜待在那裡,代表一個結構。
他自己也沒想到這套東西能撐四十多年。這種結構化表示式,恰好非常貼近人類概念化高層事物的方式。語言的模糊性被消解掉,剩下的東西可以餵給機器一步步推演。
Wolfram Alpha 的全部工作就是幹這件事。把“我們關心什麼”這個非常人類的判斷,翻譯成機器能算下去的符號系統。資料庫裡不存電影的每一個畫素,存的是片名、導演、票房、上映日期,這些是人會問的東西。
他對“理解”這件事下過一個定義,很值得記住。
理解可以有一個可驗證的標準
我們總問:它真的理解了嗎?
在計算的世界裡,這個問題可以有明確答案:能不能把它轉成符號化的計算結構,從而算出各種後果。
按這個標準,“能不能續寫一段文字”和“有沒有理解這段文字”,是兩件不同的事。前者它做得極好,後者它給不出可驗證的證據。你可以讓它解釋一個物理概念,它說得頭頭是道;你讓它算這道題的數值,它可能編出一個漂亮但錯誤的數字。
這也說明兩個系統為什麼該合作。ChatGPT 負責接住人類的模糊表達,把一大段自然語言裡的意圖摳出來;Wolfram 負責把意圖變成可計算的結構,然後算出答案。入口可以很寬,底座必須很硬。
沃爾夫勒姆說,四十多年來他一直在擴這塊可計算的疆域,讓世界上儘可能多的東西能被可靠算出來。這件事很慢,很費人力,遠不如收集網際網路文字那麼便宜。他認為這是唯一能把文明往上壘的路。
背後有一個更長的判斷。人類文明的成果,絕大部分體現在形式化的知識裡:數學定理、物理定律、工程規範、法律條文。這些東西之所以能代代積累,正因為它們能變成符號,能被機器接著往下推。不能形式化的部分,只能靠口傳心授,一代人一走就散了。
聊天框裡冒出一段漂亮的文字,那停在地面層。能在上面搭出一步推一步、推完還能繼續推的東西,才進入了塔的內部。人類之所以區別於其他物種,靠的從來是後一層。
給從業者的幾條可操作建議
- 在系統設計裡明確區分“接住模糊表達”和“算出可靠答案”。前者交給語言模型,後者必須有可驗證的計算後端,別指望用機率補上精確性。
- 判斷一個模型好不好,先寫下你在意哪些特徵,再對照模型抓沒抓住。別隻看它給出的那個數字準不準,雪花模型算對了生長速率,卻給出了一個球形。
- 遇到無法預測的系統,別去找全域性捷徑。去找那些區域性的可約化口袋,把工程和決策押在可預測的切片上,其餘部分接受不可約。
- 做知識庫和工具鏈時,優先投資符號化和結構化表示。自然語言是入口,不是底座,能參與推演的只有精確結構。
- 評估模型會不會“理解”,別隻看它續寫得像不像。設計需要多步推演的測試,看它能不能把結論一路算出來。
- 對自己也要留一份清醒:你相信的那條連續自我敘事,是計算受限系統的一種簡化。它有用來由,不是宇宙的真相。
本集資源與出處
- 影片在 YouTube 收看
- 音訊官方 MP3 直鏈來自 lexfridman.com 官方播客 RSS
- 官網Lex Fridman 官網本集頁面
- 文稿本站純文字版