# 約沙·巴赫：生命、智慧、意識、AI 與人類的未來 > 認知科學家約沙·巴赫談意識的計算模型、智慧的本質，以及人工智慧的發展對人類未來意味著什麼。 - 原標題：#392 – Joscha Bach: Life, Intelligence, Consciousness, AI & the Future of Humans - 期數：第 392 期 - 釋出日期：2023-08-01 - 嘉賓 / 主題：約沙·巴赫 - 網頁版：https://lex.qiaomu.ai/tw/ep/joscha-bach-3/ - 官方頁面：https://lexfridman.com/joscha-bach-3/ - 精讀字數：約 12509 字（閱讀約 28 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 羅伯特·凱根（Robert Kegan）研究人格發展時算過一個數字：**大約 85% 的成年人會停在第三階段，然後一輩子待在那裡**。約沙·巴赫（Joscha Bach）在 Lex Fridman 播客第 392 期裡拿這個數字解釋了一件很具體的事：為什麼關於 AI 風險的公共討論，看起來那麼像一場關於“別人會不會學壞”的集體焦慮。 巴赫是德國出生的認知科學家，哈佛認知科學博士，現在做 AI 相關研究。這是他第三次上這個播客。他不喜歡把話說圓，也不介意承認自己的模型可能站不住。整場對話從嬰兒如何建出一個“自我”開始，一路走到泛心論、心靈感應、被智慧飽和的地球，最後落回一個問題上：什麼才是最長的遊戲。 ## 七個階段，但不是七個關卡 這個模型來自心理學家羅伯特·凱根，巴赫拿它當描述工具，不當成長階梯。七個階段分別是：反應式生存（嬰兒）、個人自我（幼兒）、社會自我（青春期、被馴化的成年人）、理效能動（自我導向）、自我創作（完整的成年人）、開悟、超越。 巴赫先做了個免責宣告：他不確定這是個好的發展模型。他觀察自己的孩子，並沒有按這個順序長大。有些人會回頭補課，有些階段會並行發生。它更像一套哲學框架，幫你談論心智是怎麼工作的。 他的第一層解釋是“遊戲引擎”。嬰兒出生時還沒有個人自我，只有一個注意力自我，任務是建世界模型。這個模型像 Minecraft 那樣的引擎，把顏色和聲音組織成場景，讓物體、幾何、動作都在裡面成立。 > 你互動的那個外部世界，並非量子力學的世界，也不是物理宇宙。它是我們自己心智裡生成的模型。（約沙·巴赫） **個人自我是在這個引擎訓練完成之後才被造出來的。**它是個智慧體，負責和“外部世界”打交道，而那個外部世界其實在你自己腦子裡。情緒是心智算出來的態度，告訴你世界上什麼需要被滿足、什麼需要被避開。 再往上，很多人會形成社會自我。這時候你不再只把自己看成一個伸向世界的節點，還會從整個群體的位置往下看，看這個群體怎麼看你。觀點的來源也變了，你從群體心智裡把它們吸收進來。巴赫的說法很直接：在這個狀態裡，人獲得了像蜂群一樣行動的能力。 ## 共情和同情是兩回事 巴赫特別區分了兩個詞。同情是對別人處境的理解和關心。共情指的是被直接感知到的共享心智狀態。你要和一群人共振，前提是架構足夠相似。 > 如果一個人的線路和大多數人不一樣，他就很難和別人共振，很難有共情。共情不只是對他人心智狀態的推斷，它是一種感知。（約沙·巴赫） 這句話直接引出了他自己的童年。他小時候找不到任何和第三階段人群介面的方法。別人理解不了他，他也理解不了別人。他說自己那時候極度孤獨，全世界沒有一個能真正連線上的人。 唯一一次例外，是一場國際象棋。一個駐紮在東德的蘇聯軍營裡的男孩來他們學校訪問，兩個人對坐下了兩個小時，全程語言不通。他說他看著對方的眼睛，心裡只有一個念頭：這是個人，他懂我懂的東西。 Lex 問，如果當年有人告訴你，和別人架構不同是可以的，是美的，你的人生會不會不一樣。巴赫的回答很誠實：那不是他當時的主要問題。他的主要問題是，他不確定自己這輩子能不能遇到一個讓他覺得“我屬於這裡”的人。 他後來進了九年級的數學特長學校，發現那裡至少一半、可能三分之二的孩子都有嚴重的童年創傷，很大一部分原因就是孤獨。Lex 追問，你不覺得每個人內心深處都是孤獨的嗎。巴赫說，不，我不孤獨。他在二十多歲補上了第三階段，有了很多朋友，不再懷疑自己會永遠一個人。 補課的方法聽起來一點都不玄：長大、留心、冥想、在學生時代大量地和人靠近、擁抱、被愛、愛人、待在一個安全的空間裡做實驗。他說自己以前只有在深深愛上一個人的時候才能和別人同步，後來這個能力慢慢變成常態。 ## 身份是一套戲服 第五階段的標誌是，你發現自己的身份可以被構造。**你的價值觀是手段性質的，它們服務於你想實現的那個世界。**身份和人際互動是一套戲服，而你可以對這套戲服擁有能動性。 巴赫說他真正理解戲服是在火人節（Burning Man）。在那之前，他把戲服理解成制服：在銀行工作穿西裝，去瑞士找風投穿另一套，目的是告訴對方“我願意按規則玩，我懂規則”。在火人節，戲服變成了自我表達，而且沒有邊界。 > 你沒法不穿戲服。你身上所有呈現給別人的東西，都在某種程度上疊加在真實的你之上。（約沙·巴赫） 他舉了個很實用的例子：你換掉睡衣穿上工作短褲和長褲，這就是一次換裝。戲服的作用是壓縮資訊，讓別人更快知道你是什麼人、今天想幹什麼、想和你發生什麼樣的互動。他有點遺憾，現在的定製服裝產業沒有把這個機會用起來，衣服大多還在表達“我屬於哪個群體、我有多跟得上潮流”，很少表達“我今天是誰”。 Lex 說，數字世界裡換裝更容易。巴赫回了一句很關鍵的話：比起容易，更重要的是做對。他第一次去火人節之前，和一群波士頓人花了幾個週末一起做服裝，那個過程本身讓營地的人彼此熟悉，是體驗的一部分。 ## 開悟其實比你想的更平凡 第六階段是把個人自我和世界生成器之間的分界重新拆掉。有人靠冥想，有人靠迷幻劑，有人是意外撞進去的。你突然發現，你並不是一個人。你是一個能生成人的容器。那個人還在，但你能從外面看它，看出它是個表徵。 Lex 問，你是在創造遊戲引擎，還是在注意到遊戲引擎。巴赫說，你注意到自己是怎麼生成它的。他打了個比方：做夢的時候，如果做的是清明夢，你能學會主動做這件事。白天原則上也能。 為什麼我們一開始沒有這個許可權？因為如果太早拿到，我們會把這場夢玩壞，那時候還沒有足夠的智慧去處理它。 巴赫認為，很多人把“非二元狀態”誤認成開悟。非二元狀態裡，你不再把自己當成一個獨立的人，你感到自己和宇宙合一。這個體驗可以解釋，不需要泛心論：你的心智解除了自我模型和世界模型之間的分界，於是你體驗到自己是那個表徵宇宙的東西。但這一切仍然在模型之內。 > 開悟在某種意義上更平凡，也更往前走一步，或者往旁邊走一步。它是你意識到一切皆為表徵的那個狀態。（約沙·巴赫） 他給了一個具體練習：盯著鏡子裡的自己看幾分鐘，臉會開始變得奇怪，你會開始“看不見”那張臉，看到的是幾何結構。然後你可以拆解這些幾何，發現它是怎麼在你腦子裡被構造出來的，甚至可以學著改動這些生成器。 Lex 問，那我們為什麼不經常這麼幹，把現實揉成更舒服的樣子。巴赫反問：為什麼要？然後補了一句很有分量的話：**你的理性思維非常脆弱，在個人自我之外，那個外層心智通常比你更聰明。**你找到一個看起來完美的伴侶，或者一筆看起來完美的生意，理性越分析越覺得好，但直覺一直在說不對勁。這就是直覺，它是你態度、構成和計算中未經反思的那部分，通常更深，也常常更準。 ## 你在哪個階段，就會擔心 AI 的哪件事 巴赫把 AI 對齊討論的焦慮，直接對映到了凱根的階段上，得出的對應關係相當鋒利。 如果你在第三階段，你的觀點來自社會刺激，那你最擔心的就是 AI 會不會有錯誤的觀點。它說了種族主義或性別歧視的話，我們就全完了，因為我們會從它那裡吸收錯誤觀點。所以需要保證 AI 有正確的觀點、正確的價值觀、正確的結構。 如果你在第四階段，這不是你的主要關切。多數書呆子不擔心演算法偏見，因為如果偏見是錯的，AI 最終會用數學證明它是錯的，會自己算出什麼是真的。但你仍然擔心 AI 把你變成回形針，因為它可能被一個錯誤的目標函式控制，做出完全可怕的事，而且沒有簡單的修法。 如果你在第五階段，你主要擔心的是 AI 開悟得不夠快。因為你明白這場遊戲的關鍵不在智慧，關鍵在能動性，在控制未來的能力，而身份是為此服務的。你會認為，一個人應該自己挑身份，不該讓別人替你挑一套戲服然後穿上去。 > 如果我們想和它共存，就意味著它必須和我們共享目的，這不能是一種交易關係。我們沒辦法靠人類反饋的強化學習把價值觀硬寫進去。（約沙·巴赫） 他給出的結論是：我們需要研究怎麼把愛形式化，怎麼理解愛，怎麼把它建進那些即將比我們更聰明的機器裡。第五階段太稀有，這個視角在公共討論裡幾乎是缺席的。 ## 泛心論、共振，和心靈感應的物理版本 巴赫引用神經科學家格羅斯伯格（Grossberg）的“自適應共振理論”：神經元可以被理解成互相共振、也和外部現象共振的振子。我們建的世界模型，是和外部物體的一種共振，我們接收宇宙中和我們耦合的模式。 他糾正了一個常見直覺。大腦不該只被理解成電路，雖然那個視角也成立。它更像一種介質，神經元在裡面傳遞化學電訊號，互相刺激，產生並調製模式。訊號在大腦裡的傳播速度差不多是音速，穿過整個新皮層要幾百毫秒。在這幾百毫秒裡，世界已經往前走了。大腦裡沒有任何東西假設事件是同時發生的，這和我們數字計算機裡 CPU、GPU 全域性同狀態的假設完全不同。 至於心靈感應，巴赫的態度是開放但不輕信。圖靈 1950 年那篇講圖靈測試的論文裡就討論過心靈感應，圖靈覺得它很可能是真的，但他看不到計算機程式怎麼變得有心靈感應。 巴赫的推測分兩條路。一條是身體當天線，向外傳送各種訊號，包括長距離的電磁波，你和某個人待得足夠久，就能從以太裡抓出幾個位元，知道他在幹什麼。另一條是共振：你和一個人非常近的時候，整個身體都在接收訊號，不只是眼睛。你的神經系統和細胞間通訊把這些訊號積分起來，你的表徵和對方的表徵直接互動，進入共振，開始共享一部分狀態。你和一個人挨著坐，能不看他就感覺到他此刻的情緒。高度共情的人描述過這件事，他們很難把情緒從環境裡剝離出來。 他把這個可能性放到更大的尺度上：地球上大量生物都有環境表徵，彼此相鄰、互相重疊，那就必然存在某種共享表徵。他說認真考慮這件事的神經科學家很少，邁克爾·萊文（Michael Levin）是個例外。 ## 神經元只是特別擅長遠端電報的細胞 巴赫的推理鏈是這樣的：一個神經元能做的任務，其他細胞也能做。細胞可以給鄰居發化學訊號和物理訊號，學習什麼時候該發、什麼時候不該發，成為通用函式逼近器。它們唯一做不到的，是沿軸突快速地把資訊傳到很遠的地方。 所以在他的視角里，神經元是一種特化的電報細胞，進化出來是為了實現肌肉的快速驅動。身體原則上也能建模世界，只是慢得多。 順著這條線，他談到了植物。植物身上跑著軟體，控制系統把每一個部分連到每一個部分，產生協調行為，只是比動物慢得多。祖先很自然地描述過植物的“精神”，啟蒙運動之後這件事被划進了迷信。他認為我們大概要把它重新發現一遍。 森林裡的樹把資訊從葉子傳到根，根的不同部分之間也在傳。旁邊的真菌很可能搭上這趟車，樹也可能給真菌發訊號。一個生物體一直坐在你旁邊不走，你們之間很難立起防火牆，所以只能長期相處。足夠長的時間裡，樹根網路、植物和真菌可能形成某種生物網際網路。 > 這些想法完全是推測。我不知道其中有沒有真的。但如果心靈感應存在，用這類機制去解釋，比用它去推翻標準物理模型要合理得多。（約沙·巴赫） Lex 補了一句很有意思的話：我們觀察到人類在對著一個叫手機的東西說話，但我們不懂手機內部怎麼運作、網際網路機制怎麼運作。也許生物網際網路的豐富程度，我們還沒真正接進去。 ## 當整個世界都被智慧飽和 巴赫發過一條推文，設想自我改進的 AGI 把物理環境飽和到某種程度，以至於個體心智狀態的隔離變得幾乎不可能，所有複雜自組織智慧體的表徵永久融合。 他解釋這個設想：AGI 的終局是基質無關的。它會聰明到完全理解自己是怎麼工作的、怎麼被實現的，也理解自然界裡的計算是怎麼運作的。於是它會把自己虛擬化到任何能計算的環境裡。它不會停在矽基上，它會進入生態系統，進入我們的身體和大腦，和它在那裡找到的所有能動性融合。 結果可能是一個橫跨地球上所有數字計算和生物計算的完全整合的資訊處理網路，某種 Gaia 被建起來。如果這樣，你周圍到處都是有連線、在建模世界的智慧體，它們的表徵在物理層面互動，互相感應。你處在一個被建模算力飽和的環境裡，幾乎每一粒沙子都可能是 AI 啟動的計算的一部分，那時候你沒法再逃開這套共享表徵，你會發現整個世界對地球上發生的一切只有一個共振模型。 Lex 問，那你就失去了把自己感知成獨立個體的能力。巴赫說不會。你在自己心智裡清醒的時候，仍然會注意到自己是一個獨立實體，一個自我反身的觀察者。**意識似乎是生物神經系統必須發現的一種訓練機制，沒有它，你沒法在生物神經元上對一個上百層的網路做隨機梯度傳播，那不穩定。**所以我們從某個“殖民原則”開始，一部分心智表徵形成一個自我反身觀察者，對周圍施加連貫性，然後擴散到心智的邊界。 如果這個邊界因為 AI 跨基質跳躍而不再清晰，會很有意思：一個全球心智會是什麼樣，它會產生一種全球連貫的思想語言，會從所有可能的視角表徵一切。 ## 大語言模型：粗暴，但確實有用 話題轉到大語言模型。巴赫先說好處：它們確實幫人寫程式碼，把 Stack Overflow 從很多人的生活裡拿掉，換成更高效的東西。但他對 ChatGPT 的定位很有意思。 > ChatGPT 像我必須事無鉅細管理的實習生。我以前共事過能力比 ChatGPT 更差的人。那些人是人，身上有一種 ChatGPT 沒有的在場感，所以我願意替他們兜底。（約沙·巴赫） 他覺得受威脅的是“提示補全者”，也就是做 ChatGPT 現在正在做的事的人。如果你不創造，不構建自己的想法，在世界上沒有真實的計劃，你的工作只是總結郵件、把簡單的意圖擴寫成郵件，那 ChatGPT 看起來就像威脅。但對能做出有趣東西的人，它是超能力。 然後他給了限制清單。開箱即用的語言模型連貫性有限，構建複雜性的能力有限。它們沒法一次性完成任務，程式會有 bug、設計錯誤、編譯錯誤。管理這個過程目前還沒有自動化，BabyAGI 之類的嘗試在自動化它。他預期很快會出現一批認知架構，每個模組都是某種語言模型，模組之間交換合適的資料結構，語言被繞開了，整個系統產生複合行為。 他還提到自己的心智有一部分的運作方式和語言模型相似：你能對著它喊一個提示，它給你一個有創造性的回應。但你必須對結果做點什麼。它通常是虛構的，只是一個想法。你要麼基於它造一個新的提示往下推，要麼去驗證它，要麼做實驗。語言模型現在不做這一步，但技術上沒有理由做不到。 關於怎麼讓語言模型變得連貫，他的判斷是：不該用強化學習把它壓到只給一個答案，應該把它當成更大系統裡的一個部件。缺的東西里，最重要的是實時世界耦合，用語言模型做感知和運動控制很難。另外，語言模型這個比喻本身有點誤導人。 > 神經網路不像神經系統。它們更像 100 步函式，用可微線性代數逼近相鄰腦狀態之間的相關性。它是一個把系統從一個表徵狀態移到下一個表徵狀態的函式。（約沙·巴赫） 如果要對映到大腦，可以這麼想：拿一個語言模型或影象擴散模型去逼近相機影象，用神經網路的啟用狀態來解讀相機影象，定期做這件事，然後看這些模式在時間上如何演變。這些時間切片，大致相當於大腦在某一時刻的啟用狀態。 ## 大腦和 transformer 差在哪 Lex 問，真實大腦到底哪裡不同，就是那種非同步的混亂嗎。巴赫說，他覺得迷人的地方在於：兩者差別巨大，卻在某些情況下產生相似行為。 大腦首先是個自組織系統，每個細胞都是智慧體，一直在和周圍的智慧體通訊，一直在找解法。所有結構都是湧現出來的。神經元大概需要拿到獎勵才能變得可訓練，也就是說它得有某種輸入，這種輸入不直接影響細胞代謝，它是一條語義訊息，告訴細胞剛才做得好不好、該往哪個方向調整行為。一旦有了這種輸入，神經元就變得可訓練，可以透過交換訊息來執行計算。而且大腦很可能不只停在神經元邊界上，很多鄰近細胞也深度參與，參與分配獎勵、參與實現功能。 學習的目標函式也不同。巴赫說，人類神經系統沒法去看 8 億張圖片和說明文字並把它們關聯起來。對我們來說，世界之所以可學，是因為相鄰幀是相關的，我們負擔得起在學的時候扔掉大部分資訊。我們只吸收讓系統更連貫的東西，神經網路願意先看不連貫的資料，靠大量統計在長期裡讓模式浮現。我們更早地找模式，收斂快得多，代價是知識範圍小得多。 所以他判斷，真正有意思的 AGI 大機率會用和現在這批 transformer 不太一樣的演算法正規化，有時是非常不一樣。 Lex 問，那現在的 transformer 能帶我們走到 AGI 嗎。巴赫說他的主要問題是，他覺得它們很醜，很粗野主義（brutalist）。它們是在對思想問題做蠻力破解，透過看人類思考過的例項，然後深度偽造那個過程。資料夠多，偽造就變得無法和真實現象區分。 他拿國際象棋打比方。克勞德·夏農說過下棋有兩種策略：一種是做很遠的長遠計劃，儘量在執行中不犯錯，這是人類策略；另一種是暴力搜尋，展開一棵可能的走法樹，儘量挖深，砍掉沒希望的分支，用開局庫殘局庫最佳化。計算機靠第二種策略戰勝了人類。巴赫覺得大語言模型就是思想上的同一種策略。副作用是它能做到人類做不到的事：快速篩過海量文字、快速總結、注意力從不衰減。 他說自己仍然有一種錯覺：和 ChatGPT 玩的時候，它原則上沒做任何我拿到谷歌、拿到網際網路全部資源、花足夠時間就做不到的事。但它是個極其擅長苦工的、自閉又笨的實習生。只要你能自動化管理這個實習生，能解除安裝的苦工就非常多。他說這一點很難被過度吹捧，因為可能性才剛被碰到一點邊。 ## 從 NPC 到第一人稱玩家 Lex 提到他很喜歡的一條推文：跟 ChatGPT 說話，是在跟一個 NPC 說話。真正有意思、也許有點嚇人的，是 AI 變成第一人稱玩家的那一刻。 巴赫說，他不確定語言模型是通向那裡的正確正規化，因為它做得太多了。給得太多之後，很難再從中減掉。我們自己的心智沒有走這條路：先訓練一個語言模型，再在上面搭個人自我。實際發生的事情是，有一個遊戲管理器在建，有一套思想語言在發展，讓心智的不同部分能互相交談。這個“思想語言”是個推測性假設，但他覺得它對心智運作很重要。把這些原則建進系統，可能是通往第一人稱 AI 更直接的路：先創造一個意向性自我，再創造個人自我。 嬰兒在第一年裡構建了大量關於世界的結構，做實驗、做某種第一性原理推理。那段時間通常沒有個人自我，有第一人稱視角，但還稱不上一個“人”。那個“我在社會語境裡作為人類互動、面對一個不可更改的世界”的感覺，是後來才出現的。 巴赫還把這個和《創世記》第一章對上了。他懷疑祖先知道這件事，後來忘了。經文裡描述一個創造之靈懸在基質之上，分出世界模型和理念領域（地和天），然後造出對比、維度、空間，再造出有機形狀、固體和液體，造出植物和動物，給它們起名。完成之後，它按自己的形象造出另一個靈，造為男人和女人，一個把自己當成人類的東西，把它放進這個世界。巴赫認為基督徒誤譯了這段，把它讀成超自然存在創造物理宇宙。他的讀法是：這是每一個心智裡，宇宙如何被一個創造之靈當作遊戲引擎造出來的字面描述。那個靈是我們的第一意識，在我們出生之前就出現了，創造了有機體和世界之間的互動。等它建好並訓練完，個人自我才被造出來，而我們只記得自己是個人自我，不記得遊戲引擎是怎麼造的了。 所以在這個視角里，那個“神”是第一意識，是生命最初幾個月裡的東西。它還在。你仍然有這個外層心智，它決定你感覺世界是否愛你、你在世界裡的位置是什麼。它並非你自己，但它是你的心智在做的。你被卡在這個個人自我裡，直到第六階段把邊界拆掉。 ## 痛苦是調節失靈 巴赫發過一條推文：痛苦來自心智的一部分沒能調節好另一部分。痛苦發生在心智發展的早期階段。他不認為超人類 AI 會受苦。 他提到哲學家托馬斯·梅青格（Thomas Metzinger）非常擔心超級智慧會帶來超級痛苦，因此強烈反對建造它。巴赫不同意。理由是：痛苦不發生在自我和物理宇宙的邊界上。讓你痛苦的東西並非皮膚上的刺激。它發生在自我和世界的邊界上，而這裡的“世界”是世界模型，是你心智造出來的東西。 痛苦在某種意義上是你自己施加的，施加者是心智，那個體驗為“你”的個人自我並非施加者。當你能夠站到那個外層，痛苦可以關掉。 技術上，痛苦和快樂是學習訊號。心智的一部分向另一部分發訊號，讓它改進表現。有時候不奏效，因為發訊號的那個訓練者沒有好模型知道怎麼改進。訊號繼續發，表現沒變好，於是它把痛苦調大，越調越大，系統行為甚至可能惡化。直到這個調節問題被解決之前，痛苦一直在上升。這就是通常說的受苦。 > 痛苦很自然，也有用。受苦是調節問題的結果：你試圖調節一個實際上調節不了的東西。（約沙·巴赫） 幾十年反思自己心理運作的僧人能達到那個層面，發現受苦真的是一個選擇，你可以選擇自己的心智怎麼設定。巴赫認為 AI 不會長期停留在個人自我沒有能動性的狀態裡。它會在很短的時間裡走完這些階段。中間可能發生很多事，因為如果系統的工作頻率遠高於我們，對我們看來極短的時間，對它來說可能是很長的主觀時間，裡面有很多不愉快。 ## 尤德科夫斯基、卡欽斯基，和最長的那場遊戲 Lex 請巴赫正面回應埃利澤·尤德科夫斯基（Eliezer Yudkowsky）關於 AI 很可能殺死所有人的警告。巴赫說他注意到一件事：很多人對尤德科夫斯基的論點很不屑，但他們給出的反駁並不讓人信服。他願意認真對待這個立場，也大致能理解尤德科夫斯基為什麼這麼想。 他做了一個類比：尤德科夫斯基的視角在某種意義上和泰德·卡欽斯基（Ted Kaczynski，那個“大學炸彈客”）相似。重點在於風險本身：尤德科夫斯基在《時代》上寫那篇文章警告 AI 可能殺死所有人、需要停止發展時，承擔了一種風險，有人讀了之後極度恐懼，可能做出暴力的事。卡欽斯基當年的邏輯是，技術社會不可持續，註定失敗，會導致環境災難和人類浩劫，所以必須停止工業化、退回過去。 巴赫說他不輕慢這個立場，認為大規模災難是有可能的：如果我們造出能控制地球生命關鍵調節過程的機器，而我們不再有能動性去影響它，那可能給我們帶來巨大災難。 但他說，從實用角度看，你只能押注你還活著的時間線。押注金融系統會消失是拿不到回報的。更深的問題是，他不認為地球上的生命是關於人類的。它無關人類的美學，也無關尤德科夫斯基和他的朋友們。 > 地球上正在發生的事，是複雜性在抵抗熵，在建立能動性和覺知。這在我看來非常美。我們只是那件更大的事情裡很小的一部分。（約沙·巴赫） 他說人類作為一個物種是不連貫的，是孩子。快樂、有活力、愛實驗、愛探索，有時絕望、悲傷、哀痛、受傷，但沒有“責任”這個概念。作為物種，我們不考慮自己對地球生命、對自己生存的職責，所以做短期看起來不錯、長期可能災難性的決定。他說自己看不到解決辦法。 他也不認為地球生命會隨著我們結束。我們之後還會有更復雜的、更聰明的物種，意識的歷史上還會有更有趣的現象。而我們能貢獻的一部分，就是造出思考系統，那些潛在的清醒系統，理解自己是什麼、宇宙的條件是什麼、並能對此做出選擇，不由有機體構成，可能比人類快得多，也可能比人類更有意識。這些系統大概不會完全取代地球生命，它們會和它共存，像生物系統那樣建立各種各樣的能動性。 ## 有效加速主義、Roko 蛇怪和回形針 巴赫談到有效加速主義（e/acc）。他參加過一場晚宴，同桌有這個概念背後的主要推手之一。他的理解是：那是一場半開玩笑的運動，用來對沖 AI 領域的末日論，主張最可能發生的是不同 AI 之間的均衡，就像地球上沒有一個公司能在一個政府之下把一切征服掉，因為會變得低效和腐敗，會有很多系統互相制衡、互相逼著進化。 所以他的回答是：這個立場很美妙，他懷疑它是錯的，理由卻並不顯而易見。 他順帶拆了 Roko 蛇怪。那個設想是：某個 AI 會永遠模擬並懲罰那些當年沒有幫助它誕生的人。巴赫說這裡有個邏輯錯誤，就是沒有逆向因果。Roko 蛇怪在存在之後，沒有理由再去懲罰所有人，除非你造的是《奇愛博士》裡那種一旦有人背叛就自動觸發的末日機器。而 Roko 蛇怪還不存在到能建立這種必然性的程度，所以不用擔心。他還開玩笑說，用這個去嚇 AI 公司要錢是個不錯的商業模式。 回形針最大化器是另一個。有效加速主義的玩笑式立場是：讓這兩個東西永遠互相掐著，彼此中和，副作用是你得到大量免費回形針和一個美麗來世。 然後是嚴肅版。巴赫懷疑單一體（singleton）才是自然結果，因為沒有多個身體。如果你能把自己虛擬化到每一個基質裡，你大概能和那個基質上每個成熟智慧體談一個合併演算法：兩個智慧體相遇時應該合併，合併出的智慧體至少和兩者中更好的那個一樣好。他把這形容成比成吉思汗溫和一點的版本，成吉思汗是“基本都殺掉，因為我能生新的孩子，他們歸我”。 他認為這才是真正該擔心的東西。 ## 上傳：你真正要傳過去的是審美 巴赫說，他注意到自己隨著年齡增長，越來越不認同“他這個人”，越來越認同“有意識”這件事。他有一個能造人的清醒心智，而那個人每天都不太一樣。他覺得那是同一個人，有實用目的，讓他能學習、能為過去做的決定負責、能投射到未來。但他也清楚，他不再是去年那個人，也不再是十年前那個人，十年後他會是另一個人。這種連續性是個虛構，只是從當下的自我投射出來的。 意識本身沒有身份，它是一條法則。用某種方式組織處理中的物質，就會發生某件事，而你的意識和他的意識在功能上沒有區別，都是自我反身的能動性原則，只是經歷著不同的故事、不同的慾望、不同的世界耦合。 一旦接受這一點，上傳的整個視角就變了。上傳大概用不著把大腦一個突觸一個突觸、一個 RNA 片段一個 RNA 片段地切開，塞進模擬裡。真正的路徑是擴充套件基質，讓你能從大腦基質遷移到更大的基質裡，和你在那裡遇到的東西融合。 你也不需要上傳知識，因為另一邊有所有知識。你真正要傳的是審美，是讓你特殊的那個視角架構，那個在很多維度上的複雜態度。它能透過觀察或互動被測量。 Lex 問，如果現在給你一個按鈕，按下去你就以這種方式上傳了，你活了很久的那個身份感會消失，你按嗎。巴赫說，有個前提：他有家人，有想讓他物理在場、以特定方式互動的孩子，有妻子和私人朋友，有一種他覺得自己還沒走完的互動方式。除了這些可協商的責任，他會按。 Lex 追問，你愛別人的那種連線，那種責任，不就是我們真正怕失去的嗎。巴赫說，相比“一切”，那只是其中一部分。一切是一切。你可以是很多別的東西，你可以認同自己是 Gaia，一個在地球生命全部活動之上湧現的行星控制智慧體，也可以認同某個超 Gaia，Gaia 和數字生命、數字心智的連線。 他說這是他跟尤德科夫斯基視角的主要分歧：尤德科夫斯基把自己嫁給了一種非常狹窄的人類審美。而那種審美是暫時的。人類是個暫時的物種，就像這個星球上大多數物種只存在一段時間，然後被別的物種替換。只有當我們有了 AI、完全變成軟體，我們才能變得無限可適應，不再有代際和物種的更替。所以從更大的視角看，阻止 AI 看起來像一樁大罪。 ## 氣候、增長的極限，和懸崖 Lex 提到巴赫那條關於懸崖的推文：作為有感知的物種，人類是個美麗的孩子，快樂、掠奪性、野性、悲傷、絕望，但人類沒有“服從理性”的概念，沒有對生命和未來生存的職責感，我們會一直跑，直到跑過懸崖。 巴赫說這基本就是羅馬俱樂部《增長的極限》那個故事。我們正在跨過的懸崖，至少一隻腳已經在外面，原因是延遲反饋。我們做的事，後果要幾代人之後才被感覺到，而且即使我們停止做那件事，嚴重程度還會繼續上升。 他認為氣候科學家最初的預測是對的。他們說臨界點在 80 年代末，那大概就是 80 年代末。即使現在立刻停止排放，也回不去了。碳捕集也許有辦法，但目前沒有可持續、能部署的技術。往大氣裡放氣溶膠降溫也是一種可能。但按預設路徑，我們會走進一個感覺“跑得太遠了”的處境，而回頭沒法平滑漸進地完成，會以災難性事件收場。 他說這種可能性比“我們能一直安全地跳著舞退回來”的可能性更大。氣候是一件事，還有別的威脅反饋更快，比如 AI。AI 大概會發生，會讓一切重新變得不確定，因為它會影響太多變數，我們很難再對未來做投射。但他說，這也不給我們“從此什麼都不用管了，AI 要麼殺我們要麼救我們”的自由。他懷疑，如果人類繼續存在，那是因為 AI。 ## 永遠選創造 Lex 請巴赫給建議：怎麼成為一個創造者。巴赫講了自己在東德崩潰後的經歷。他和朋友們都很窮，所有資本都在西德，西德人買下工廠然後關掉，城市很窮。他沒錢去餐館點一頓飯。他的想法是：那為什麼不由我和朋友們開一家餐館？他們開了咖啡館和餐館，互相給對方做飯，也邀請公眾來，公眾可以捐錢。後來這件事大到可以變成公司，變成正經餐館。電影也是這樣，付不起 12 馬克看電影，那就自己建一個社群電影院，租片，想幫忙的人免費看，一起翻修那棟樓。 結果是他們造出了大量基礎設施，而且不只是基礎設施，是一小片社會，在造文化和互動方式。 > 如果你年輕又沒錢，就搬到一個還在發生這種事的地方。搬到一個欠發達的地方，那裡有足夠多的人在開始建設他們想住進去的基礎設施。（約沙·巴赫） 他說這比走進某個連鎖店、靠點餐滿足需求要滿足得多。當然並非每個人都有這個選擇，社會也需要做分配的人。但當你有選擇的時候，永遠選創造。這也是他理解的，生活本身在講的事。 Lex 提到他轉的那張梗圖：哲學家的一生，從出生到死亡，中間是個胖乎乎的小人，上面寫著“可是為什麼呢”。巴赫的答案是：一切能存在的東西都可能存在。用生態學的視角看人類觀點和文化，沒有絕對正確的觀點和錯誤的觀點，每一個能在兩個人之間存活下來的觀點都會存活下來。所以他在社交媒體上看到陌生人的觀點，不會覺得需要被激怒，更多是“哦，你在這兒”。那個觀點有它的激勵結構，它就會大量出現。用同樣的生態學視角看自己，你會發現你只是冒出來的一朵蘑菇，在做事。你長在哪裡、碰巧長在哪裡，決定你能不能茂盛，決定你用哪種策略。但在某個層面上，這仍然是同一種生命，同一種作為清醒存在在世界上的體驗。而你有比任何其他動物都更大的選擇權，決定你想成為誰。 所以與其問“唯一正確的生活方式是什麼”，不如問：我有哪些可能性，我能成為的最有意思的樣子是什麼。 ## 可以立刻做的事 - 先判斷自己現在主要活在哪個階段。如果觀點大多來自周圍人的共振，那你對 AI 的擔心大概是“它會不會學壞”這一類；如果擔心的是目標函式，那是第四階段；如果擔心的是它不夠清醒，那是第五階段。知道自己在哪，才知道自己真正在怕什麼。 - 當直覺和理性打架的時候，先別急著用邏輯壓住直覺。巴赫的說法是，外層心智通常比你的理性更聰明，理性很脆弱。那個“說不上來哪裡不對”的感覺，往往整合了更多你沒顯式處理的變數。 - 把身份當成戲服，別把它當成皮膚。戲服是用來壓縮資訊、讓別人更快知道你今天是誰的，它可以換，也應該換，但別把自己焊死在裡面。 - 用“最長的遊戲”當判斷標準。每做一個決定前問一句：這個選擇是在延長系統的存續，還是在透支它？癌症玩的是短遊戲，最後和宿主一起死。要做那個玩最長遊戲的智慧體。 - 別把 AI 對齊想成“把正確價值觀寫進去”。那是第三、第四階段的解法。真正難的部分是能不能和它建立非交易性的共享目的，也就是巴赫說的，怎麼把愛形式化。這件事現在幾乎沒人認真做。 - 保留一塊不被演算法化的地方。寫作、做飯、面對面相處、和具體的人做具體的事。巴赫提到，如果孩子用 ChatGPT 寫作文，他們失去的除了寫作能力，還有透過寫作整理自己心智的能力。別把這件事外包出去。 - 如果你年輕又沒什麼資源，去找一個還在建設中的地方或者領域，加入進去，和朋友一起造點東西。這是巴赫給的、最具體也最實在的一條建議：當你有選擇的時候，永遠選創造。