# 尼克·博斯特羅姆：模擬假說與超級智慧 > 哲學家博斯特羅姆談我們是否活在模擬中、超級智慧的控制難題與人類文明的長期風險。 - 原標題：#83 – Nick Bostrom: Simulation and Superintelligence - 期數：第 83 期 - 釋出日期：2020-03-25 - 嘉賓 / 主題：尼克·博斯特羅姆 - 網頁版：https://lex.qiaomu.ai/tw/ep/nick-bostrom/ - 官方頁面：https://lexfridman.com/nick-bostrom/ - 精讀字數：約 12866 字（閱讀約 29 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 二十年裡，Nick Bostrom 被無數人問過同一個問題：模擬論證的三個選項裡，哪一個最可能？他的回答從來沒變過：我不選。 這種拒絕經常被當成哲學家慣用的迴避。他的理由其實是另一回事：**我們的不確定性並不均勻地攤在整個問題表面，它集中在少數幾個關鍵位置上，而那幾處恰好決定全域性。**在這種情況下給出一個數字，等於假裝自己知道。 模擬論證在 2003 年提出，說三件事至少有一件為真：幾乎所有文明都在達到技術成熟之前就滅絕了；達到技術成熟的文明都失去了執行模擬的興趣；我們生活在一個模擬裡。 這句話火了快二十年。但它真正的分量，不在那句“我們可能活在模擬裡”，而在 Bostrom 對“不知道”這三個字的處理方式。 ## 先把兩個詞分清楚 大多數人把模擬假說和模擬論證當成一回事，他一上來就做了切割。 **模擬假說**是個具體命題：我們生活在計算機模擬裡，字面意義上的，別當成比喻。有一個高度發達的文明造了很多計算機，我們感知到的一切，包括自己的大腦，都是那些計算機里正在執行的程式產生的效果。 **模擬論證**則是個析取命題，下面三條至少有一條為真： - 幾乎所有文明在達到技術成熟之前就滅絕了 - 達到技術成熟的文明，都失去了執行這類模擬的興趣 - 我們生活在模擬裡 三條覆蓋了全部可能性。論證本身不告訴你哪條為真，它只保證至少有一條是真的。 > 這個論證對三個選項之間的機率分配是完全不可知的。（尼克·博斯特羅姆） 關鍵就在這裡。他反覆強調，模擬論證的成立不依賴造一個模擬有多難，也不依賴人類還能活多久。哪怕造一個模擬需要五億年，論證照樣成立。 但如果你想判斷自己更可能落在哪一條分支上，就必須回答這些問題。而這些恰恰是我們最沒有把握的。 ## 技術成熟是什麼意思 第一個選項依賴一個概念：技術成熟。這個詞聽起來含糊，他給了它一個相對清晰的定義，指一個文明把所有通用型、廣泛有用的技術都開發到接近極限的狀態。 怎麼估算這個極限？他提到一個思路，來自他在牛津人類未來研究所的同事埃裡克·德雷克斯勒（Eric Drexler）。 德雷克斯勒在八十年代研究分子製造，用理論工具和計算機建模分析各種分子級精確結構的效能。那時候造不出來，今天也造不出來。但你可以在理論上推算：如果把原子按某種方式排列，這個結構會穩定，會以某個速度旋轉，會具備某些計算特性。 他算過一件事：用分子級精確的零件搭一臺粗糙的計算機，體積只有一塊方糖大小，效能是人類大腦的一百萬倍。 他沒說這是最優設計。真正高效的計算機還能更快。但他算出的這個數字是個下界，只要能做到原子級精度，它就立得住。 再疊加上太空殖民。宇宙的物理極限是光速，人類現在的火箭速度遠低於它。把火箭造得更大、燃料更多，速度就能上去。一個文明如果有足夠的時間，能控制的物質總量可以估算。哪怕有宇宙加速膨脹的限制，那仍然是個可觀的數字。 把這些加起來：一個技術成熟的文明能拿到多少算力，存在一個非常高的下界。 Bostrom 的直覺是，這個下界不會等幾百萬年才到達。可能就在機器超級智慧出現之後不久。 > 如果人類起源的文明要花幾百萬年才能開始做這件事，那我會很意外。它更可能發生在歷史時間尺度上。（尼克·博斯特羅姆） 這句話決定了第一個選項的形狀。如果達到技術成熟需要幾千萬年，那麼在這漫長過程中，文明被各種災難打斷的機會就大得多，第一個選項的機率上升。如果需要的時間很短，第一個選項的機率就下降。 ## 宇宙很大，大到有點荒謬 第一個選項有個隱藏前提：宇宙裡有很多文明。如果人類是唯一的，那麼“幾乎所有文明都滅絕”這句話在我們滅絕之後就自動成立，沒什麼資訊量。 Bostrom 說，按目前最主流的宇宙學理論，宇宙是無限大的。無限大，加上每個區域性區域都有某種隨機的物質分佈，那麼在無窮多個區域裡，所有可能的排列都會出現，機率為一。 外星文明不是可能存在，是必然存在，而且有無窮多個。 > 如果有無限多的物質團塊，每個團塊裡都有隨機的東西，那你就會以機率一得到所有可能的結果，無限重複。（尼克·博斯特羅姆） 這直接帶出了費米悖論。既然宇宙這麼大，文明這麼多，為什麼我們什麼都沒聽到？ 他感興趣的角度有點不一樣。他說，你得區分兩個問題： - 哪個風險對我們最大 - 如果有一種東西能殺死幾乎所有文明，那會是什麼 兩個問題的答案不一樣。第二個問題要求那個風險因子對所有文明都是均勻的，不管它們在哪、長什麼樣、走什麼技術路線。**能讓幾乎所有文明都翻車的風險，必須是一種結構性的、普遍存在的東西。** 這也是他在別處花大量篇幅寫超級智慧的原因。人工智慧風險可能是人類的大問題，但它未必是第一個選項需要的那個普遍殺手。被機器智慧取代，不等於技術成熟沒有達成。取代人類的那臺機器，可能照樣會發展到能造模擬的程度。 > 即使我們被機器超級智慧殺死，那個機器超級智慧也可能達到技術成熟。所以這不是人類專屬的，任何看起來能到達技術成熟的智慧物種都算。（尼克·博斯特羅姆） 所以第一個選項真正在問的是：宇宙中有沒有一種結構性障礙，讓幾乎所有智慧文明都過不去這道坎。 ## 第二個選項：動機會不會被重寫 他認為第二個選項最難判斷。 表面上看，所有文明都失去興趣聽起來像個玩笑，好像大家集體看膩了。他指的其實是更根本的東西：**一個文明在接近技術成熟的過程中，它的目標函式可能被徹底重寫。** 他給了個例子。今天的人類不能直接控制自己的心理狀態。你想體驗快樂，得去做一堆外部世界的事：賺錢、訂餐廳、吃好吃的。這些複雜活動之所以存在，很大程度是因為我們想要某種內在體驗，卻只能透過一長串外部操作間接獲得。 技術發展到某個程度，一個文明可能獲得直接調整自身內部配置的能力，而且有足夠的知識和洞察力，把這件事做得有意義。那時候，很多工具性目標會直接消失。 > 可能有很多工具性目標會從圖景裡掉出去，被其他工具性目標取代，因為我們現在可以用更直接的方式去服務某些終極目標。（尼克·博斯特羅姆） 再加上一件事：通往技術成熟的路上，幾乎必然會經過某種認知增強，無論是機器超級智慧的輔助，還是生物改造。這些增強會帶來一整套我們今天完全看不見的考慮因素。**今天我們覺得造不造模擬是個可以自由選擇的選項，等到了那個階段，它可能變得顯然該做，或者顯然不該做。** 他還補了一個觀察，很有意思。個人對歷史影響最大的時刻，未必是技術成熟之後，可能恰恰是現在，或者更早。 因為現在還有很多條路可走，人口相對少，事情還沒定型。等到文明穩定下來，路徑依賴性極強，個體的邊際影響反而變小。如果把間接影響也算進去，那些塑造了今天世界的人，影響可能比未來超級智慧時代的任何一個普通人都大。 ## 人越多，你越可能在其中 假設第三個選項為真，也就是有文明造出了模擬。那麼從整個時空統計，模擬出來的、擁有我們這類體驗的觀察者總數，會超過非模擬的觀察者。 然後要跨過一步，才能得出我們很可能在模擬裡。 這一步叫樸素無差別原則（bland principle of indifference）。他的表述是：當你在兩組觀察者之間無法從內部證據判斷自己屬於哪一組時，應該按組的大小分配機率。如果模擬觀察者是真實觀察者的十倍，你就有十倍的可能屬於模擬那一組。 他給了一個把這條原則說得更直觀的論證。假設有一條連續光譜：模擬者佔總人口的百分之零點一、百分之一、百分之十、百分之五十、百分之九十、百分之九十九、百分之九十九點九、百分之百。在百分之百那一端，你可以直接邏輯推出自己在模擬裡，不需要任何機率。在零那一端，你可以直接推出自己不在。那麼中間這些點，機率應該平滑過渡，不該有突變。 > 如果每個人都是模擬的，你可以直接推匯出來，根本不需要機率。那麼隨著比例從九成到九成九到九九成九，你分配的機率應該平滑地趨近於一。（尼克·博斯特羅姆） ## 意識能不能被偽造 這裡插進了一段關於意識的討論，是整期節目裡最容易被忽略、也最有意思的部分。 模擬假說能不能成立，依賴於一個來自心靈哲學的前提：**在計算機裡創造意識是可能的。**決定一個系統有沒有意識的，是它實現了什麼樣的計算結構；用有機神經元還是矽基元件搭出來，不影響這一點。 Lex 提了個問題：要模擬一個人，是不是得連整個環境一起模擬？還是隻模擬大腦就夠？ Bostrom 把問題拆開了。他先說了 VR 裡的按需渲染：電子遊戲不會一直渲染整個場景，只渲染玩家視野裡的東西。如果我們的環境是模擬的，可能用的是同樣的機制，只有進入視野的部分被渲染成高精度，其他部分用粗糙表示。 然後是意識。他說，如果有一個計算，和人類大腦在神經元級別的計算完全一致，一千億個神經元，連線方式相同，突觸權重相同，跑起來的行為和人類一樣，那麼**那個東西應該是有意識的**。 但能不能簡化？簡化到什麼程度意識還在？他說這一點還沒有定論。 Lex 丟擲了自己的觀察。他最近拿一個機器人平臺做實驗，讓它發出疼痛的聲音，看自己的反應。他說，很快這個機器人對他來說就顯得有意識了。他的直覺是：**意識比智慧更容易被偽造。**人類大腦在社互動動裡非常容易被騙，只要對方表現出某些特徵，比如能受苦、能表達困惑、能對自身存在發問。 Bostrom 的回應很謹慎。他說，這取決於互動的豐富程度。如果只是打個招呼，確實很容易偽造，現在就能做到。但如果是長時間的、開放的、可以從各種角度追問的互動，那要給出所有可能問題的正確答案，唯一的實現方式可能真的就是例項化一個意識。 > 如果你創造了一個你感知、與之互動的實體，對你來說完全真實，不只是你說你好它也說你好，而是很多天的深入對話，那可能唯一可行的實現方式，也會順帶例項化那個意識。（尼克·博斯特羅姆） 他拿做夢舉例。人類的腦子，三磅重的神經組織，每天晚上輕輕鬆鬆就能造出一個信以為真的虛擬現實，而且你經常意識不到自己在做夢。一個擁有行星級計算機、最佳化了億萬年的超級智慧文明，要給你造一個可信的環境，難度只會更低。 ## 諾齊克的體驗機器 順著這個話題，他們聊到了羅伯特·諾齊克（Robert Nozick）的體驗機器思想實驗。 設定大致是這樣：未來的神經科學家造了一臺機器，你進去之後可以體驗任何想要的東西。夢想成真，你成為偉大的藝術家、偉大的愛人，過上美好的一生。代價是脫離現實，飄在缸裡。 諾齊克認為大多數人不會選擇進去。也許去度個假可以，但不會永久退房。他用這個論證反對某些價值理論，特別是那種認為價值完全由體驗構成的觀點。在體驗機器裡你可以得到任何體驗，但很多人會覺得那沒什麼價值。所以價值依賴體驗之外的東西。 Bostrom 補了一個觀察，很敏銳：**這個思想實驗裡有很強的現狀偏誤。** 很多人不願意拔掉插頭進機器。但如果你告訴他，他到目前為止的經歷其實是一場夢，現在可以選擇斷開連線進入真實世界，而真實世界他完全不知道是什麼樣。或者告訴他，其實他是個在秘魯種花生的農民。他是願意繼續做夢，還是回到真實？ > 如果現狀是他們在體驗機器裡，很多人可能寧願繼續過熟悉的生活，而不是跳出去。（尼克·博斯特羅姆） 所以人們真正珍視的，可能是某些專案、關係和自我認同的連續性。至於在缸裡還是缸外，在秘魯還是在計算機裡，反而沒那麼要緊。 Lex 說自己願意跳，願意當那個秘魯農民，尤其是 VR 越來越真實之後。Bostrom 提醒他，這個思想實驗裡秘魯農民是真實的，並非虛擬。 然後 Lex 追問了一個更鋒利的問題：那些別人呢？如果你在體驗機器裡有個妻子，她有自己的恐懼和希望，你拔掉插頭再插回來，她還在那裡過自己的生活。她算不算真實的？ 他的回答取決於實現方式。如果她只是牆上一張靜態照片，那撕掉這張照片沒有傷害任何人。但如果她在神經層面被完整實現，擁有和你一樣的行為庫，那她很可能也是一個有意識的人。你在機器裡的所作所為，對她就是真實的後果。 他把這個問題推到了更深一層：**有沒有可能，要造出一個能提供完整人類體驗的體驗機器，包括和別人深入互動的體驗，而不順帶例項化那些別人，在技術上做不到？** 他說這一點同樣沒有定論。 ## 末日論證：從甕裡摸球 聊到第三個選項的推理結構，自然就接到了末日論證（Doomsday Argument）。 這個論證最早由理論物理學家布蘭登·卡特（Brandon Carter）提出，哲學家約翰·萊斯利（John Leslie）在 1996 年的書裡做了發展。核心主張是：我們系統性地低估了人類很快滅絕的機率。 他先宣告，大多數人最後會覺得這個論證有問題，但很難說清楚問題在哪。他自己的看法是不確定，懸而未決。然後他講了論證本身。 用摸球的類比最好懂。兩個甕，外觀一樣。一個裡面十個球，編號一到十。另一個裡面一百萬個球，編號一到一百萬。有人隨機把其中一個甕放你面前，讓你猜是哪個。你先驗是五五開。然後你被允許伸手摸一個球，摸出來是七號。 這是十球甕的強證據。如果是一百萬個球，摸到七號的機率微乎其微。用貝葉斯更新一下，你幾乎可以確定這是十球甕。 末日論證說，對人類的出生序號也應該這樣推理。 簡化成兩個假設：人類總共會有兩千億人，或者總共會有兩百萬億人。你根據自己的經驗判斷，先驗可能覺得只有百分之五的機率會在兩千億這個數量級就滅絕，也就是說，大機率我們還能殖民宇宙。 然後把你的出生序號當成一個隨機抽樣。你大約是第一千億個出生的人，正負若干。這個數字取決於你怎麼定義人，但量級沒問題。 如果總數是兩千億，那麼你是第一千億個，非常普通，正好在中間。毫不意外。 如果總數是兩百萬億，那麼你是第一千億個，就非常靠前了。從兩百萬億人裡隨機抽一個，抽到第一千億個的機率極低。 所以，你應該更新自己的信念，偏向人類很快滅絕這個假設。 > 這看起來會引向一個直覺上錯誤的結論。從非常弱的先提出發，得出了非常驚人的含義，我們幾乎沒機會達到兩百萬億人。（尼克·博斯特羅姆） ## 模擬論證比末日論證穩在哪裡 整期節目裡技術含量最高的段落在這裡，也是 Bostrom 真正想強調的地方。 末日論證依賴一個假設，叫自我抽樣假設（self-sampling assumption）：你應該把自己當成從所有觀察者（或者某個參照類）裡隨機抽出來的一個。 麻煩在於，你在事實上知道自己大約是第一千億個人，知道自己活在 2020 年。在這個前提下還要求你像隨機抽樣一樣推理，很多人覺得彆扭。這個假設就成了攻擊點。 但他說，真正麻煩的地方在於：**現代宇宙學裡，有些看起來完全正當的科學推理，好像也需要類似的東西。** 他舉了多重宇宙的例子。在很多多重宇宙理論裡，所有可能的人類觀察都會被做出。如果宇宙足夠大，會有很多人在觀察各種各樣的東西。假設有兩個競爭理論，關於某個常數的值。在兩個理論下，都會有一些觀察者觀察到與另一個理論相符的值，因為總有人產生幻覺，總有區域性漲落，總有統計異常的測量。 我們想說：確實會有少數人觀察到錯誤的值，但絕大多數觀察者會觀察到正確的值。所以我們自己應該預期觀察到正確的值，這樣我們的觀測證據才能支援我們認為正確的那個理論。 **如果不引入某種類似自我抽樣假設的東西，這個推理就走不通。**而我們對宇宙微波背景溫度的測量、對精細結構常數的推斷，都依賴這類推理。 於是出現了尷尬的局面：在宇宙學裡，這類人類選擇推理看起來必需且完全合理；一旦用到人類自己身上，就得出一個直覺上荒謬的結論。 Bostrom 說，這屬於方法論難題，需要一套關於人類選擇效應下如何合法推理的理論。 然後他把話題拉回來：**模擬論證需要的假設，比末日論證弱得多。** 末日論證要求你在明知自己是第一千億個人、活在 2020 年的情況下，仍然把自己當成隨機抽樣。這是很強的要求。 模擬論證只需要：如果你確實沒有任何內部證據能判斷自己是模擬的還是非模擬的，那就按兩個群體的大小分配機率。 > 在模擬論證裡，你作為觀察者的角色是不同的。關鍵的方法論假設要弱得多，也少了許多爭議。（尼克·博斯特羅姆） 這是他給模擬論證辯護的核心。他不否認末日論證可疑，但他認為把對末日論證的懷疑轉移到模擬論證上站不住腳，因為兩者需要的假設強度差了一截。 ## 底層現實與模擬塔 Lex 問了一個工程視角的問題：如果模擬裡還能再模擬，會不會套很多層？ 答案是，每個新生成的一層，可用資源都更少。而且有個硬約束：底層現實裡那臺跑所有模擬的計算機，必須為整座塔供電。如果底層算力有限，塔的高度就有限。 他用了這個詞，basement reality，底層現實。 > 如果在底層現實裡算力是有限的，那就限制了這座塔能有多高。而且如果每一層都帶來巨大的額外開銷，那麼大多數觀察者可能都在塔的較低層。（尼克·博斯特羅姆） 這裡還有物理約束。如果模擬者所在的宇宙也有類似我們觀測到的物理規律，正宇宙常數意味著宇宙在加速膨脹，一個文明能觸及的物質總量是有限的，哪怕以光速擴張，也只能拿到一個有限球體內的東西。再加上計算過程中的擦除損耗、質子衰變、引力波輻射，最終會走向某種熱寂。 所以模擬的數量有限。既不為零，也不無窮。 ## Elon Musk 為什麼要模擬自己 Lex 提到 Elon Musk 是模擬假說最大的推廣者之一。Bostrom 說，標準論證對所有人都適用，但對 Musk 這樣的人，多一個額外的理由。 如果造模擬的文明只挑某些有趣的子集來跑，並不重演全部人類歷史，那麼被模擬的人更可能是那些生活不同尋常、有影響力的人。一個農民被模擬的機率，和一個改變了航天工業的人被模擬的機率，未必一樣。 > 如果你把自己代入 Elon Musk 的位置，你會想，也許模擬極不尋常、極有影響力的人生的興趣會更大。（尼克·博斯特羅姆） 他管這個叫額外加成。從秘魯農民到 Elon Musk，越往那一端走，機率越高。 至於模擬之外是什麼，他說，這個問題和模擬之內是什麼緊密糾纏。如果你對模擬的創造者有什麼看法，能幫你預測這是什麼樣的模擬、裡面會發生什麼、模擬結束之後有沒有之後。 但他也提醒，我們理解自己的能力有限。他給了個比喻：狗對人類的理解，和人類對自身的理解，差距有多大。而人類對自身的理解，和超級智慧對人類的理​​解，差距可能同樣大。 然後他給了整期節目裡最精彩的一個比喻。 假設有件事，你要猜一個十位數是奇數還是偶數。如果是偶數，你這輩子最該做的事是往北走。如果是奇數，往南走。現在你透過科學和哲學，搞清楚了前七位數。你掌握了很多資訊，大部分都知道了。但最後三位你完全不知道。所以你依然完全不知道應該往北還是往南。 > 我們對宇宙瞭解很多，可能已經走了一大半路。但缺失的那部分，可能恰恰會徹底改變整件事的意義，包括我們對優先順序排序的整體看法。（尼克·博斯特羅姆） 這個比喻解釋了為什麼他不願意給三個選項分配機率。這算不上謙虛。他認為缺失的資訊可能就落在關鍵位置上。 ## 從模擬轉向超級智慧 訪談進行了一個小時四十分鐘，才轉到超級智慧。 他對智慧的定義很實用：解決複雜問題、從經驗中學習、規劃、推理，這類能力的組合。他明確說，意識不包含在裡面。一個系統可以相當智慧而完全沒有意識。 超級智慧就是這些東西的放大版：學得快得多，推理好得多，規劃更有效，在廣泛的複雜環境裡都能達成目標。 它必須是物理的嗎？不一定。純數字的完全可以。它當然是物理的，因為計算機和儲存器是物理的，但它影響世界的能力可以非常強，哪怕只有很有限的執行器，比如能在螢幕上打字。 這裡他特意做了一段平衡。他說，他在 2014 年寫《超級智慧》的時候，感覺到當時對成功之後會怎樣關注不足，需要更細緻地理解坑在哪裡，才能避開。書出版之後情況改變了，很多研究組開始做對齊技術。 他說，現在需要把**正面可能性**重新擺回桌面。公共討論裡，對通用智慧負面可能性的討論遠遠多於正面。 > 我覺得現在重要的是把正面的東西也擺回桌面。現在對正面可能性的關注有點不足。（尼克·博斯特羅姆） ## 近景和遠景別混著談 他提了一個很重要、但經常被搞混的區分：近景 AI 和遠景 AI。 近景是今天人們在擔心的東西：演算法歧視、自動駕駛、無人機。遠景是《超級智慧》裡寫的那種。 他說這個區分本身是模糊的，中間有重疊，一個會演化成另一個。但兩種語境下問題的形狀很不一樣。 > 把兩種混在一起，就會得到一個糟糕的對話。分開談，可以有兩個好的對話。（尼克·博斯特羅姆） 他的判斷是：近景被過度炒作，遠景被低估。 那遠景的正面圖景是什麼樣？他說很難具體描述，因為當今世界問題太多，幾乎沒有一個問題是一個友好的、對齊的超級智慧幫不上忙的。從健康到經濟系統，到投資、貿易、外交決策。 但他也說，沒有單一的殺手級應用。**通用人工智慧是終極的通用技術**，它的影響不會停在某個領域，凡是需要人類創造力和問題解決能力的地方都用得上，那幾乎是所有領域。 > 它能給我們更多對自然的控制。但它不會自動解決人與人之間衝突產生的問題。那些根本上是政治問題。（尼克·博斯特羅姆） 有些衝突會隨著資源和技術的增加而消失，有些需要協調，而協調不會因為技術能力變強就自動到來。 ## 智慧爆炸 Lex 問智慧爆炸。他的回答是，不知道會有多爆炸。但他覺得，在某個時間點出現一段 AI 進展極快的時期，是相當可能的，大致在接近人類水平核心認知能力那個區域。 他說人類水平這個概念本身，仔細看就會開始瓦解。所以這個區域是個灰色地帶。 他還說，如果把全世界研究者的意見畫成分佈，他大概比平均更偏向智慧爆炸那一側。 過了人類水平之後呢？能繼續往超級智慧走嗎？ 就他能判斷的而言，人類認知能力附近出現天花板，非常不可能。他還補了一句，那種感覺是既恐懼又興奮。 Lex 追問：造出一個比你更聰明的東西，是不是意味著失去控制？ 他說，後者不成立。可以想象，而且確實有很多人在努力確保，我們能投射出更高水平的問題解決能力，同時保證它對齊，服務於人類價值。 Lex 改口，說他指的不是控制，是**特殊性**。人類會失去作為地球上最聰明的東西的位置。這涉及自尊。 Bostrom 的回答挺有意思。他說，其實已經有很多東西比我們聰明瞭。如果把宇宙的尺度算進來，肯定有其他文明已經有超級智慧，或者有海灘球那麼大的腦子，把人類遠遠甩在後面。 然後他說，我們其實已經習慣了生活在比自己聰明的系統裡。科學共同體作為一個整體，如果把它當成一個心智，它的容量遠遠超過任何個體。這已經是一種超級智慧了，只是我們不這麼叫它。 > 已經有一些東西比我們聰明。你只是接受了這個事實，它是我們存在的基本結構。（尼克·博斯特羅姆） 他說，Google、Twitter、Facebook 這些推薦系統已經是基本結構了。 ## Deep Blue 和 AlphaZero Lex 問，這些系統的集體智慧會不會達到超級智慧水平？ 他說，這裡智慧這個概念開始變得模糊，尺度問題和人類水平的定義問題開始主導答案。 他說，Google 搜尋引擎在某個特定能力上極高：檢索、記憶、找回資訊，特別是文字和影象。在這個領域它是超人。但在其他一大堆事情上，它根本做不到，連“做得粗糙”都談不上，是完全做不到。**一個尖峰極高的超級智慧，其他所有認知維度都是零。** 然後 Lex 說了自己的感受：AlphaZero 比深藍（Deep Blue）智慧得多。兩個都是下棋的，但 AlphaZero 有學習能力，能從一個沒見過的領域裡自己搞明白髮生了什麼，最終變得很擅長。深藍不會。 Bostrom 同意，學習能力是通用智慧的重要側面。而且 AlphaZero 不只是學圍棋，理論上也能學國際象棋，學其他棋類。它是通用的。 > 如果你有通用學習能力更強的系統，它可能也會觸發更強的直覺，覺得它們真的開始變聰明瞭。（尼克·博斯特羅姆） ## 烏托邦：先別急著做取捨 Lex 讓他描述心目中的烏托邦。 他說自己很感興趣但還沒有全部答案，可能永遠也不會有。但他有兩點觀察。 第一，如果那個場景真的到來，它會開啟一個巨大的可能存在方式的空間。物質和資源約束會極大地拓展，餅變大了。同時它也開啟了對自己做更多事的空間，一個比人類歷史上任何時候都大得多的設計空間和選項空間。 由此推出兩件事。一是我們可能需要從根本上重新思考自己到底珍視什麼，從第一原理出發。因為那個語境和熟悉的語境差太遠，把過去一直在做的事直接搬過去是不行的。比如我們有個掃地機器人，在廚房裡掃掃地，再加點小事，這個思路是不夠的。要從個體的層面重新問：生命的意義是什麼，幸福是什麼，充實是什麼。 第二，和資源空間大有關：**我們有可能同時滿足多個價值體系，不必只選一個。** 他說，不應該只挑一個價值標準做得很高，其他全是零。比如一個純享樂主義的缸中之腦，快感拉滿，但沒有美、沒有成就。在一個顯著但不必無限的程度上，可能可以同時在很多標準上做得很好，比如每個標準都拿到百分之九十八。 > 我們應該先試著在所有標準上都做得很好。然後可能沒法拿滿百分之百，那時候才需要就哪個只能拿百分之九十七進行艱難的對話。（尼克·博斯特羅姆） 他說，這種心態是慷慨和包容不同價值體系，先看看能走多遠。他相信可以做出在非常多不同標準下都很好的東西。 ## 幸福和意義是兩回事 最後 Lex 問了那個大問題：生命的意義是什麼？ 他先把問題拆開了。幸福、意義、目的、充實，這些是不同的問題。 他說，可以想象一個人從某件事裡獲得很多快樂，但不覺得那有意義。比如窩在沙發上看某部劇的重播，吃垃圾食品。可能很爽，但當事人不會覺得這有什麼意義。 反過來，一件非常有意義的事，可能並不好玩。比如一項艱難的成就，真的幫到了很多人，但需要自我犧牲和艱苦努力。 > 這些東西是可以分開的。你在思考烏托邦問題的時候要記住這一點，要把不同種類、以不同方式有價值的東西區分清楚，先看清楚每一個，再想怎麼把它們組合起來。（尼克·博斯特羅姆） 他接著說了一個更技術性的想法。你總能構造出兩個完全對立的價值，這沒辦法。但很多價值放進低維空間裡看是糾纏的、沒法同時滿足，一旦增加維度，多數時候就能拆開。 這個說法聽起來抽象，其實很具體。資源極度匱乏的時候，安全和自由確實互相擠壓，你多要一點這個就得多放棄一點那個。但如果資源擴張幾個數量級，很多原本的取捨關係就鬆開了，真正變的是約束條件。 他的態度是：先看看這個空間有多大，別一上來就假定必須做殘酷的取捨。 ## 為什麼他不肯給出機率 回頭看整期節目，Bostrom 最一貫的姿態是拒絕。 拒絕把模擬假說說成“很可能為真”，拒絕給三個選項排序，拒絕在不知道最後三位數的情況下猜這個數是奇數還是偶數。 把這個姿態當成哲學家的滑頭，是常見的誤讀。把他的理由串起來看，其實是同一件事：**我們的不確定性不是均勻分佈的，它集中在幾個關鍵位置上，而那幾處恰好可能決定全域性。** 造一個模擬有多難？我們不知道。技術成熟之後一個文明的動機結構會變成什麼樣？我們不知道。意識和計算的對應關係邊界在哪？我們不知道。宇宙裡有沒有一種所有文明都躲不過的結構性障礙？我們不知道。 這四個“不知道”裡，任何一個的答案都可能把機率分佈整個翻轉過來。在這種情況下給一個數字，等於假裝自己知道。 但注意，他沒有因此說這個話題沒有意義。恰恰相反。他說，如果模擬論證是對的，它告訴我們的關於世界的事情，可能是當代最根本的發現之一。 > 這件事為什麼值得關注，其實挺明顯的。如果它成立，它會告訴我們一些關於世界的非常重要的事，不管三個選項裡哪一個為真。（尼克·博斯特羅姆） 這是他和其他科普者不一樣的地方。科普者喜歡說“我們有很大可能活在模擬裡”，因為這句話有傳播力。Bostrom 說的是“這三種情況一定有一種為真，至於是哪一種，我們目前的認知水平不配回答”。 後者聽起來沒那麼抓人，但它更接近一個人真正相信的東西。 ## 一個容易被忽略的推論 訪談裡有個細節值得單獨拎出來。 他說，個人對歷史影響最大的時刻，未必是在技術成熟之後，反而可能是更早。因為現在還有很多條路可走，事情還沒定型，人口也相對少。等到文明穩定下來，路徑依賴極強，個體的邊際影響會變小。 如果把間接影響算進去，那些塑造了今天世界的人，影響可能比未來超級智慧時代裡的任何一個人都大。 這句話放在 2020 年 3 月，也就是這期節目錄制的時點，有一種奇怪的重量。那時候疫情剛開始蔓延，全世界都還沒意識到接下來兩年會是什麼樣。Bostrom 在節目開頭特意說明，這段對話錄製於疫情爆發之前。 節目裡還有一句話：最深的教訓只有在風暴過去之後，回望時才能學到。 現在回頭看，這句話本身就是一個例子。那段時間裡很多人的選擇，無論是個人的還是制度的，都落在了他說的那種“路徑還沒定型”的視窗裡。視窗關上之後，再想改就貴得多了。 ## 關於宇宙很大這件事 還有一個點，容易被“模擬”這個吸睛的標籤蓋過去。 按主流宇宙學，宇宙是無限大的。無限大且區域性隨機，那麼所有可能的排列都會出現，機率為一。外星文明不是可能存在，是必然存在，而且無窮多。 這個推論很輕，輕到容易被當成飯後談資。但它的分量其實很重。 因為如果宇宙裡有無窮多個文明，那麼第一個選項，也就是幾乎所有文明都滅絕，就變成了一個非常強的經驗主張。它要求存在一種對所有文明都有效的東西，不管它們在哪、什麼形態、走什麼技術路線，都過不去。 這種結構性的普遍殺手，人類目前一個都沒找到。我們找到的風險，核戰爭、氣候、大流行病、人工智慧，都帶著強烈的“人類特殊性”，依賴我們的生理、社會結構、技術路線。它們對另一個物種未必成立。 找不到，不等於不存在。但它確實讓第一個選項顯得沒那麼順理成章。 而如果第一個選項被削弱，機率就流向了第二個和第三個。第二個是動機問題，我們對它幾乎一無所知。第三個就是模擬。 這就是為什麼有人讀完之後，覺得結論幾乎是必然的。邏輯鏈條看起來太順了。 Bostrom 的謹慎恰恰在這裡起作用。他會說，鏈條的每一環都依賴一個我們其實沒驗證過的前提。尤其是第二個，動機會不會被徹底重寫。那是整個論證裡最軟的一環，而我們對它的瞭解最少。 ## 幾句值得記住的話 節目最後，主持人引用了一段 Bostrom 寫過的話，關於存在性風險： > 我們應對存在性風險的方式不能是試錯。沒有從錯誤中學習的機會。“看看會發生什麼，限制損害，從經驗中學習”這種被動方式行不通。我們必須採取主動的方式。這需要遠見，去預判新型別的威脅，需要意願去採取果斷的預防行動，並承擔這些行動在道德上和經濟上的代價。（尼克·博斯特羅姆） 這段話解釋了他為什麼花二十年研究這些問題。 試錯在大多數領域是有效的，因為錯了還有下一次。在存在性風險這個領域，錯了就沒有下一次。樣本量為零，反饋迴路斷開，學習機制失效。 所以只能靠預判。而預判需要想象力，需要在事情發生之前，把可能的形狀想清楚。這正是哲學在這類問題上的用處：把問題空間描繪清楚，後來的人據此知道該往哪裡看。 Bostrom 在這期節目裡做的，就是這件事。他沒告訴你我們是不是活在模擬裡。他告訴你的是：如果你要認真想這個問題，你得先搞清楚技術成熟意味著什麼、動機是如何形成的、意識需要什麼樣的計算、以及為什麼有些機率你不能隨便給。 把這些想清楚之後，答案可能還是不知道。但你會知道自己在不知道什麼。 這可能是這類問題能給的最好的結果。 ## 如果這些討論對你有用，可以做幾件事 - 讀 Bostrom 2003 年那篇原始論文《你活在計算機模擬中嗎？》（Are You Living in a Computer Simulation?）。它比二手轉述剋制得多，全文沒有一句“我們很可能在模擬裡”，只有三個析取項和一段方法論說明。看完再回頭看你之前信的那些版本，會發現大多被過度簡化了。 - 把“模擬假說”和“模擬論證”這兩個詞在自己的表達裡分開。混著用是傳播中最大的損耗點，一旦混了，討論就會滑向“你是不是在說我們是假的”這種無效方向。 - 下次看到有人給模擬機率賦值，先問一句：你給的是哪個前提的機率？造模擬的難度，還是動機的穩定性？這兩個數完全不是一回事，很多人把它們當成了一個。 - 瞭解一下人類選擇效應（anthropic reasoning）這個領域。末日論證和模擬論證的差別，本質上是所需假設強度的差別。這個區分方法可以遷移到很多其他推理上：看一個結論有多強，先看它需要多強的假設。 - 如果你在做 AI 相關工作，注意他反覆強調的近景和遠景之分。把演算法歧視和超級智慧對齊混在一個對話裡，兩邊都會變糟。分開談，兩邊的討論質量都會提高，也更容易找到自己該站的位置。 - 最後一條，關於烏托邦那段。他說的是先別急著做取捨，先看看能不能在所有標準上同時做得好。這個思路不只適用於未來。手上有多個目標、多個利益相關方的時候，第一反應不該是“這幾件事必須犧牲一件”，而是先問一句：約束條件是真的，還是我假設的？