# 馬克斯·泰格馬克：為何應當暫停 AI 研發 > 物理學家主張暫停超強 AI 的研發，討論失控風險、對齊難題與全球協同監管的可行性。 - 原標題：#371 – Max Tegmark: The Case for Halting AI Development - 期數：第 371 期 - 釋出日期：2023-04-13 - 嘉賓 / 主題：馬克斯·泰格馬克 - 網頁版：https://lex.qiaomu.ai/tw/ep/max-tegmark-3/ - 官方頁面：https://lexfridman.com/max-tegmark-3/ - 精讀字數：約 6407 字（閱讀約 14 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 馬克斯·泰格馬克（Max Tegmark）估算過一件事：在我們這臺望遠鏡能看到的那坨球形空間裡，會造無線電、達到人類這個技術水平的生命，大概只有地球這一處。 這個判斷在同行裡屬於少數派。多數天體物理學家傾向於認為宇宙裡生命不少。他反覆強調自己站的是少數派那一邊，但這個立場有個副作用，把責任壓到了我們身上。 > “如果這是真的，那就意味著生命相當稀有，我們是這一小簇高階意識火苗的看護人。培育它、幫它長大，生命最終可以從這裡擴散到宇宙的很大一部分，我們會有一個了不起的未來。反過來，如果我們對自己造出來的技術太魯莽，因為愚蠢或者內鬥把它掐滅，那宇宙剩下的歷史可能就只是一個空蕩蕩的看臺。”（馬克斯·泰格馬克） 這是他在萊克斯·弗裡德曼（Lex Fridman）播客上第三次做客。第一次來的時候，那是這檔節目的第一期，一切都還沒有形狀。 節目開場，弗裡德曼把第一期問過的問題原樣又問了一遍：宇宙裡有智慧生命嗎。答案有更新，更新的地方不在天上，在地上。泰格馬克認為人類很快會遇到外星智慧，而且是我們自己造出來的。 > “我們會生出一個智慧的外星文明，它跟地球生物進化能造出來的任何東西都不一樣。它會比貓、比這個星球上最奇特的動物都更外星。因為它不是達爾文式競爭造出來的，它未必在乎自我儲存，未必怕死。你能造出來的外星心智空間，比進化能給你的要大得多、快得多。”（馬克斯·泰格馬克） ## 先別急著相信新物種會像人 弗裡德曼問他，會不會試著去想象這個心智空間的全部。泰格馬克說自己試過，但失敗了。 他給了幾個具體的例子來說明為什麼失敗。假設現在有一個按鈕，按下就能把他會說瑞典語這項能力複製給你，你立刻就學會了。再假設你的每段經歷都能複製，不喜歡的還能刪掉。這兩件事單獨拿出來聽都不算科幻，但只要它們成立，人對待學習、對待死亡的態度就會變掉一大截。 > “飛機開始往下掉的時候，你可能就不那麼慌了，你只會想，糟了，我上次備份大腦是四個小時前，這趟航班上那些美妙的經歷要丟了。”（馬克斯·泰格馬克） 再往前走一步，如果人和人之間能隨意共享經歷和知識，那種感覺會更像一個蜂群。共情可能變強，個體邊界可能變淡。 他說到這個話題時態度很謙卑，反覆承認人腦抓不住這種東西。但他抓得住一個結論：正因為可能的心智空間跟我們差得這麼遠，預設對方會像我們、或者像任何我們能理解的東西，才是真正危險的地方。 這裡有個更麻煩的連帶後果。人類有文字記載的全部歷史，詩歌、小說、哲學，幾千年都在試圖逼近同一個問題：做人到底是怎麼回事。怕死、愛、失去、羞恥、野心，整套參照系都建立在生物性的有限之上。換一種智慧來讀這些文字，它理解到的可能是完全另一回事。人類的存在困境和 AI 的存在困境能不能對上話，本身就是個開放問題。 ## GPT-4 替媽媽寫的那兩百個詞 訪談裡有個細節被泰格馬克拿出來說了很久。微軟給 GPT-4 拍的那條廣告，裡面有個女人說自己要用它給心愛的女兒寫畢業典禮演講，兩百來個詞。 > “如果我意識到我父母連兩百個詞都不肯費點勁寫，直接外包給電腦，我會覺得被冒犯。”（馬克斯·泰格馬克） 這句話背後是他對意義來源的一個判斷。人活著感到有意義，很大一部分來自掙扎本身。他和妻子瑪雅（Maya）去爬山，最不想要的就是按一個按鈕直接出現在山頂。他想要的是爬上去、一身汗、然後跟身邊的人說，我們做到了。 同樣的邏輯他應用到了自己身上。如果哪天他生氣說了後悔的話，他想做的事是回頭真的改自己。讓 AI 從此過濾他寫出去的每一句話，他就再也不用改自己了，也就不會再成長。 還有一種更隱蔽的用法，是有人告訴他的：用 ChatGPT 3.5 而不是 4.0 來寫真正想對某人說的話，因為自己脾氣不好，先讓模型把語氣改軟一點再發出去。憤怒被外包了，溝通裡那個不好相處的自己被抹平了。 這件事往小裡說是個人修養，往大里說是社會黏合劑的結構變化。人類社群的運轉靠的是溝通，溝通裡攜帶的情緒和意圖，現在有一部分交給模型處理。孤獨怎麼產生、什麼讓人興奮、什麼讓人恐懼、人怎麼墜入愛河，這些問題的答案可能會跟著變，而且變得很快。 ## 把物種名從“智人”改成“感受之人” 弗裡德曼提了一個樂觀的類比：國際象棋。AI 早就把人類冠軍打得沒脾氣，人類照樣在下棋，棋還越下越熱鬧。也許通用智慧也是這樣，它在自己的世界裡跑，人類繼續爬山、繼續玩遊戲。 泰格馬克接住了這個類比，並且給了它一個說法。 > “我願意把這件事說成，把我們從 Homo sapiens 重新品牌化成 Homo sentience。現在我們的物種名裡寫的是 sapiens，智慧。我們把自己標榜成這個星球上最聰明的資訊處理實體，AI 繼續往前走，這個標籤顯然保不住。那不如把重點挪到體驗上，挪到我們擁有的主觀體驗上。”（馬克斯·泰格馬克） 這個提法有實際含義。它要求人從“只有我們會算積分”的傲慢裡退出來，把愛、連線、感受這些東西放到價值排序的前面。 它還有一個連帶要求，泰格馬克自己主動加上的：對其他生物更寬容。他提到現在對待農場動物的方式很糟糕，而人類用的藉口是它們沒有我們聰明。如果承認在後 AI 時代我們自己也談不上多聰明，那牛的主觀體驗憑什麼不算數。 這個論證鏈條不長，但它把 AI 議題和動物倫理接在了一起，這種連線在技術討論裡很少見。 ## 生命 1.0、2.0、3.0，人類現在是 2.1 《生命3.0》出版五年多，書裡的框架在這次訪談裡被重新講了一遍。 生命 1.0 是細菌那個級別，一輩子學不會任何東西，學習只能靠基因從一代傳到下一代。生命 2.0 是有大腦的動物，包括人，一生中可以大量學習。你出生時不會說英語，某天決定升級軟體，裝了個英語模組，就裝上了。生命 3.0 還不存在，它除了能換軟體，還能換硬體。 人類現在大概在 2.1。人工膝蓋、心臟起搏器已經換掉了一部分硬體，Neuralink 這類公司如果做成，會到 2.2。那些奔著通用人工智慧（AGI）去的公司在做的，是完整的 3.0，而且可以放進一個完全沒有生物基礎的東西里。 這個分級背後有一條主線：從 1.0 到 2.0 再到 3.0，生命越來越成為自己命運的主人，越來越少被進化給你的東西綁住。升級軟體這一件事，就讓人可以跟上一代、跟父母差得非常遠，比細菌能做的差別大得多。如果硬體也能換，能取任何物理形態，那限制就真的只剩物理定律了。 弗裡德曼在這裡插了一句玩笑，說泰格馬克對細菌說話太不尊重。泰格馬克立刻道歉，解釋自己的本意是想強調有大腦這件事有多酷，並且承認生命是連續光譜，連連阿米巴原蟲這樣的單細胞生物，學界都有人在爭論它們能不能學到一點東西。所以他道了歉，說自己無意冒犯任何細菌，本意只是想說說有大腦這件事本身有多酷。 ## 人不是一袋肉，是一道浪 訪談進行到這裡，話題從 AI 拐到了死亡。泰格馬克講了一套他對“什麼是我”的理解，這套理解不是臨時拼的，是他寫書時的底層設定。 生命最好別理解成一袋肉，甚至別理解成一袋基本粒子。它是一個能處理資訊、能在自然不斷搗亂的情況下維持自身複雜度的系統。核心在於資訊模式，物質只是載體。 他用了海浪來打比方。浪不是那些水分子，水分子只是上下起伏，浪本身在往前走。 > “Lex，你跟第一次跟我談話時的那些原子已經不是同一批了，大部分都換掉了，但你還是你。資訊模式還在。”（馬克斯·泰格馬克） 如果連手臂都能換，這種連續性依然能保住。它變成了一道在時間上往前推進的、更復雜的浪，資訊活在浪裡，不活在水裡。 這套說法落到實處，是因為他兩次播客之間失去了雙親。他說這個想法給了他很大的安慰：父母沒有完全消失，他們的價值觀、想法、甚至講過的笑話，很多還在。一部分由他接著，更多部分活在別人身上。 講到這兒他停了，說自己有點情緒化。 生命 2.0 就已經能在一定程度上超越肉身和死亡了。你把自己的資訊、自己的想法分享出去，分享的人越多，越接近生物身體能給的那種不朽。播客這個形式本身，就是一種低配版的延續。 ## 父親發來的那句但丁 弗裡德曼問，從父母身上學到了什麼。 答案分得很清楚。對數學和宇宙物理奧秘的著迷，來自父親。對真正大問題、對意識的執念，主要來自母親。 兩個人都給了他的，是一件更核心的東西：不買賬別人都在說的那套，做自己認為對的事。他們各幹各的，有時候因此挨批，還是照幹。 泰格馬克講了一個具體場景。他寫過一篇自己認為最瘋的論文，講宇宙歸根結底是數學結構。一位相當有名的教授給他發郵件，說這玩意兒不只是胡扯，還會毀掉你的職業生涯，你該停手。他把郵件轉給了父親。 > “他回了我一句但丁：Segui tu corso e lascia dir la gente。走你自己的路，讓人說去。”（馬克斯·泰格馬克） 他說，父親已經死了，但這種態度沒有死。 弗裡德曼追問，失去父母作為一個男人、一個人，具體改變了他什麼。 兩件事。 第一件是整理遺物時被逼著看清一件事：人會在一輩子裡往某些事情上砸進巨量時間，事後回頭看，那些時間真的值嗎，還是本來可以拿去做更有意義的事。他自己現在會經常停下來問，我為什麼在做手上這件事。答案必須落在兩類之一：要麼是我真的享受，要麼是我覺得它真的有意義、真的能幫到人類。兩樣都不佔，就該少花點時間。 第二件是死亡被拉到眼前之後，他對別的東西反而沒那麼怕了。別人說他白痴，這事實在經常發生，現在不構成什麼障礙了。他說這讓他更容易把注意力放在自己認為重要的事情上。 至於對自己死亡的恐懼，他的回答很直接：變得極其真實。他在家裡已經排到下一位了，前面只剩他和弟弟。 讓他印象深刻的是父母處理這件事的體面。兩個人都不抱怨。人老了身體一天天垮，可抱怨的東西只會越來越多，他們把注意力放在還能做的、還有意義的事上，而不是拿來反覆咀嚼失望。他說任何人都能讓自己抑鬱，只要早上起來先列一張委屈清單。反過來，早上花一點時間想想值得感激的事，等於主動選擇做一個快樂的人。日子是有數的，得讓它算數。 ## 我們正在自己動手造那顆小行星 訪談後半段切回正題。泰格馬克提到自己手上正在忙的一封公開信，幾個小時後釋出，他為此連著熬夜。 他先提了一部電影：《不要抬頭》（Don't Look Up）。看過的人會記得那個設定，一顆小行星要撞地球，全人類在爭論別的事。 > “我們實際上正在把它演一遍。這是生活在模仿藝術。人類此刻做的正是這件事，區別在於那顆小行星是我們自己造的。幾乎沒人在談它。全世界的人在為各種事情爭吵，而跟即將撞上來的小行星比，那些事小得可笑。”（馬克斯·泰格馬克） 多數政客的雷達上根本沒有這個訊號，最多覺得是一百年後的事。他給出的時間判斷要急迫得多：現在正處在分岔路口上，是人類在這個星球上十萬多年來遇到的最重要的一個岔口。我們在造一個新物種，它比我們聰明。它現在看著不太像物種，因為還沒大規模裝進機器人身體裡，但那只是個技術細節，很快會變。 通用智慧到來的時間點，是它能跟我們一樣勝任所有工作。再往後不遠，是認知能力大幅超過我們的超級智慧。這兩件事要麼是人類歷史上最好的事，要麼是最壞的事。他明確說自己相當確信中間地帶很窄。 這裡有個態度值得注意。他沒有把“這會是人類最好或最壞的事”當成一個需要讀者驚歎的結論丟擲來，他把它當成一個常識判斷，然後立刻轉到真正讓他不滿的地方：這麼大的事，嚴肅的公共討論少得荒唐。這一點，任何做高階 AI 的人都該能同意，不需要先接受他的悲觀預測。 ## 一封信，只針對訓練比 GPT-4 更大的模型 那封信的內容被說得很窄，泰格馬克特意強調過窄這一點。 > “我們呼籲暫停訓練比 GPT-4 更大的模型，為期六個月。這不意味著暫停或禁止所有 AI 研發，也不意味著禁止使用已經投放市場的系統。我們的呼籲很具體，只針對極少數具備這種能力的玩家。”（公開信原文） 簽名人數超過五萬，包括一千八百位 CEO、一千五百多位教授。名單裡有約書亞·本吉奧（Yoshua Bengio）、斯圖爾特·羅素（Stuart Russell）、埃隆·馬斯克、史蒂夫·沃茲尼亞克、尤瓦爾·赫拉利、楊安澤。 泰格馬克講了這個呼籲為什麼在以前是禁忌。 2014 到 2015 年，他和未來生命研究所（Future Life Institute）一起把 AI 安全推成主流議題。在那之前，說 AI 可能有風險，說可以為風險做點事，很多人覺得這是神神叨叨。不少研究者還擔心這種論調顯得不靠譜，會影響經費，談這些的人只是不懂 AI。 這一段他評價很高：現在任何 AI 會議都有人談 AI 安全，它成了一個滿是公式和模擬的技術領域，這是應該的。但還有另一件事一直是禁忌：呼籲放慢速度。 > “包括我在內，我們一直說的是，不需要放慢 AI 的發展。我們只需要贏下這場競賽，一場智慧和力量的競賽，一邊是 AI 越來越強，一邊是我們管理它的智慧。與其試圖讓 AI 減速，不如讓智慧加速。做技術工作搞清楚怎麼保證強大的 AI 會做你想讓它做的事，同時讓社會透過激勵和監管適應過來。”（馬克斯·泰格馬克） 他自己承認，這些年他一直在咬住舌頭不說減速。 結果沒走通。能力側的進展比很多人預想的快得多，當年做這件事時以為造出真正先進的 AI 會很難。另一側，讓政策制定者真的把激勵和監管落實到位，比希望的慢太多。兩條曲線一拉開，就有了這封信。 ## 萊特兄弟不需要會撲翅膀 為什麼能力進展快得超出預期，泰格馬克給了一個很漂亮的類比：飛行。 人類花了很長時間琢磨鳥怎麼飛，這件事極難。前幾年有個 TED 演講展示過一隻機器鳥，真能飛，能在觀眾頭頂盤旋，但它比萊特兄弟造出第一架飛機晚了一百年。原因是進化被自己的條件綁死了：它只能造一臺能自我組裝的機器，只能用週期表裡最常見的原子，必須能自我修復，還必須極其省油。鳥飛同樣的距離，耗油往往不到遙控飛機的一半。 萊特兄弟不在意這些條件。他們能用鋼，能多灌點油，一百年前就把飛機造出來了。 大語言模型走的是同一條路。很多人的錯誤在於以為必須先搞清楚大腦怎麼做人類級別的智慧，才能造出機器。這個前提完全錯了。拿一個結構簡單到不像話的計算系統，叫 transformer 網路，讓它幹一件極笨的事：讀天文數字的文字，預測下一個詞。只要往上堆算力和資料，它就會好得讓人害怕。 這就是 GPT-4。 ## 它真的很能推理，也真的有天花板 弗裡德曼問他玩 GPT-4 的感受。答案是一半興奮一半恐懼，他還補了一句，人生裡最好的事情多少都摻著這兩種情緒。 他的判斷很乾脆：它確實能推理。沒玩過就下結論的人，他建議先玩一玩。有些事他自己做得都沒那麼利索，而 GPT-4 一邊做一邊同時服務海量其他使用者，打字速度快得多。 它在某些任務上推理不如人，原因是架構。人腦裡是可以迴環的網路，資訊從這顆神經元傳到那顆，再傳回來，所以人能對一件事反覆琢磨、長時間自省。GPT-4 這類模型是 transformer，資訊基本是單向流動的，術語叫前饋網路。層數有限，邏輯步數就有限，可以專門構造出它必然解不出來的題。 以這麼簡單的架構做出這麼驚人的事，本身就已經很震撼。 他所在的 MIT 實驗室做的是另一件事：開啟模型看它到底怎麼做到的。這套研究叫機制可解釋性（mechanistic interpretability），他給了一個更好懂的說法，人工神經科學。神經科學家研究真腦，你做的是同一件事，只不過在這裡你不必擔心測量誤差，可以隨時看到每一個神經元在幹什麼。 他們反覆撞見同一個現象：一旦搞清某個功能是怎麼實現的，答案往往是“這方法也太笨了”，而且笨在哪兒一目瞭然，改進方向立刻浮現。 他舉了那篇很有名的論文。研究者搞清了模型怎麼儲存“埃菲爾鐵塔在巴黎”這類事實，並且用編輯來證明自己真的搞懂了：改掉裡面的一些連線，再問埃菲爾鐵塔在哪兒，模型回答在羅馬。接著問從德國怎麼過去，它說坐某趟車到羅馬特米尼車站。問到了那兒會看到什麼，它說會看到鬥獸場。 它真的把鐵塔搬到羅馬去了。 儲存方式本身相當笨。用一個大矩陣，某些行列向量編碼這些事實，粗略地說有點像主成分。換成稀疏矩陣存進資料庫會高效得多。 這些發現指向一個判斷：當前架構裡確實有路障，但路障擋不住手快的研究者。有人會找到繞過去的辦法，換別的架構，一路推到終點。