# 馬克斯·泰格馬克：生命 3.0 > 物理學家談生命 3.0 的設想：能自行設計自身軟硬體的人工智慧將如何改變宇宙的未來。 - 原標題：Max Tegmark: Life 3.0 - 期數：特別節目 - 釋出日期：2018-08-26 - 嘉賓 / 主題：馬克斯·泰格馬克 - 網頁版：https://lex.qiaomu.ai/tw/ep/max-tegmark/ - 官方頁面：https://lexfridman.com/max-tegmark/ - 精讀字數：約 10225 字（閱讀約 23 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 馬克斯·泰格馬克（Max Tegmark）是 MIT 的物理學家，大半輩子在研究宇宙學，後來把注意力轉向了另一個宇宙：智慧。他創辦了生命未來研究所（Future of Life Institute），寫了《生命 3.0》。在這期訪談裡，他丟擲了一個和主流直覺相反的判斷。 在公開演講裡，他常讓聽眾舉手：覺得宇宙中存在其他智慧生命的，請舉手。幾乎所有人都舉手了。理由也差不多，銀河系這麼大，行星這麼多，怎麼可能只有我們。泰格馬克說，他自己是那個少數派，他不舉手。 他的理由來自算賬，與直覺無關。 ## 費米悖論的另一面：大過濾器可能在我們身後 先得把宇宙這個詞說清楚。泰格馬克提醒，物理學意義上的宇宙，指的是自大爆炸以來 138 億年裡，光有足夠時間抵達我們的那片球形空間。它並不等於無窮大的所有空間，只是我們理論上能觀測到的這一塊。 在這個可觀測範圍內，僅銀河系就有超過十億顆類地行星，很多比地球還要老幾十億年。如果智慧生命出現的機率不太低，那麼按機率算，我們應該早就被發現了，或者早就發現別人了。但除了 UFO 愛好者，沒有任何確鑿證據顯示，有超級文明來過這裡。 這就是費米悖論。 泰格馬克的處理方式很物理學家。他說，我們對“一顆行星上出現生命的機率”完全沒有概念，那它可以是 10 的負 10 次方，也可以是 10 的負 70 次方。如果對所有數量級一視同仁，那意味著我們的最近鄰居可能在 10 的 16 次方米外，也可能在 10 的 70 次方米外。而 10 的 16 次方米這個尺度，人類早就探過了，那裡什麼都沒有。再遠一點，如果真有文明，他們應該早就造出我們能觀測到的工程痕跡。如果超過 10 的 26 次方米，那已經出了可觀測宇宙的邊界。 結論就剩一個：**在這片可觀測宇宙裡，達到建造望遠鏡和計算機水平的生命，可能真的只有我們。** 這個判斷帶來一個倫理後果。泰格馬克說，這意味著責任全在我們肩上。那些覺得“就算我們搞砸了，宇宙裡總會有別的文明來救我們”的想法，是一種虛假的安全感。他更願意說：我們得對這次機會心懷感激，然後盡全力把它走好。 他還有一個概念叫“大過濾器”（Great Filter）。從無生命到能建造高階技術的生命，中間一定有一道極難透過的關卡。問題是，這道關卡在我們身後，還是在我們前方？ > 每次 NASA 發報告說在火星上沒找到生命，我都特別興奮。因為這說明最難的那一步，也許是把第一個核糖體組裝出來這種極低層次的臺階。如果真是這樣，那我們就已經過關了。（泰格馬克） 反過來，如果大過濾器在我們前方，那就意味著：一個文明一旦掌握高階技術，一百年內就會因為某種愚蠢的自我毀滅而消失。泰格馬克說，這個版本的故事“太掃興了”。他寧願相信我們已經過了最難的那一關。 ## 物理學家眼裡，意識不需要神秘物質 話題從宇宙轉到心智。泰格馬克說，他十幾歲時就被科學裡兩個最大的謎團吸引：外面那個宇宙，和裡面這個宇宙。前者他研究了二十五年，後者是他現在覺得時機已到的新戰場。 很多研究者把智慧看作只可能存在於生物體裡的神秘東西，因此把通用人工智慧（AGI）當成科幻。泰格馬克以物理學家的身份看這件事，結論完全不同。 > 我就是一堆夸克和電子，按某種模式運動、處理資訊。這個水瓶也是一堆夸克和電子。我不比它聰明，原因不在夸克種類，大家都是上夸克和下夸克，一模一樣。這裡面沒有秘密醬料，區別只在資訊處理的模式。（泰格馬克） 換句話說，物理學裡沒有任何一條定律說，我們不能造出比我們聰明得多、幫我們解開我們解不開的謎題的技術。他說，我們目前看到的，只是智慧冰山的尖尖。 他造了一個詞來描述這個思路：*perceptronium*（感知物質）。這是他提出的一個假想物質狀態，用物理學語言去問一個很直接的問題：一個任意的物理系統，它的粒子在做什麼、資訊在做什麼，才能讓它有意識？ 泰格馬克明確反對“碳沙文主義”（carbon chauvinism），也就是“必須由碳原子構成才算聰明或有意識”的態度。關鍵不在材料，在資訊處理的模式。 ## 有意識的資訊處理，和無意識的資訊處理 他給了一個很具體的觀察：你的大腦裡，絕大多數資訊處理都沒有意識參與。視覺系統每秒湧入約 10 兆位元的資訊，你對其中絕大部分毫無察覺。心跳調節、呼吸、走路時的肌肉協調，全在後臺跑。甚至你讀一句話，眼睛掃過去，答案“啪”地出現在腦子裡，但你不知道這個計算過程是怎麼發生的。 > 你的意識就像 CEO，收到一封郵件，裡面是最終答案。至於中間是誰算的、怎麼算的，CEO 不知道。（泰格馬克） 這就引出一個真問題：**什麼樣的資訊處理模式會伴隨主觀體驗，什麼樣的不會？**泰格馬克認為，這裡有一個重大的科學發現等著被做出來。他甚至相信，看這期節目的人裡，將來可能有人會寫下那個方程，描述資訊處理要滿足什麼條件才產生意識。 這個問題不只是哲學趣味。他舉了個急診室的場景：一個無反應的患者被推進來，如果除了 CT 掃描器，還有一臺“意識掃描器”，能判斷這個人是閉鎖綜合徵還是真的昏迷，那該多好。再往後想，如果家裡有個能和你順暢聊天的機器人，你會不會想知道它到底有沒有體驗？還是隻是個殭屍？ 他甚至設計了一個思想實驗來逼問讀者。你去麻省總醫院做手術，醫生說：我們會給你肌肉鬆弛劑，你全程清醒、劇痛難忍，但動不了，也叫不出聲。不過手術結束後，我們會給你一針藥，抹掉這段記憶。你接受嗎？ 只看行為的話，這個方案和全麻沒有區別，術後你什麼都不記得。但幾乎所有人都會說不接受。泰格馬克說，這個思想實驗之所以扎心，是因為它說明：**體驗本身就有價值，哪怕它不改變任何可觀測的行為。** ## 關於意識，有三派人，泰格馬克站中間 他把學界對意識難題的看法分成三派。 第一派以丹尼爾·丹尼特（Daniel Dennett）為代表，認為意識難題根本不是問題。意識就等於智慧，任何表現得有意識的系統就是有意識的，和我們一樣。 第二派人數也不少，包括很多頂級研究者，他們的結論恰好相反：機器永遠不可能有意識，它們永遠只是殭屍，所以你怎麼對待它們都不必內疚。 第三派以朱利奧·託諾尼（Giulio Tononi）和科赫（Koch）兄弟為代表，泰格馬克把自己放進這一派：有些資訊處理是有意識的，有些不是，那就把這個區分找出來。 他批評前兩派都太懶。這麼多年，人們一直在繞開這個問題，“意識”這個詞在很多圈子裡幾乎是禁忌。他說，別再找藉口了，這問題屬於科學範疇，而且原則上可以做實驗來檢驗任何給出可證偽預測的理論。 他還順帶戳了一下人類的自我美化傾向。我們說動物不能感受疼痛，所以可以活煮龍蝦，理由是“我們問它疼不疼，它沒說話”。現在有論文說龍蝦確實會疼，瑞士已經立法禁止活煮。同樣的邏輯，人類歷史上用來對待奴隸、對待女性：“他們沒有靈魂”“他們不在意”。泰格馬克說，每次聽到有人把“機器不可能有體驗”當作公理，他都覺得緊張，因為這正是那種自我服務式論證的老套路。 ## 自我儲存不是與生俱來，是目標的副產品 話題轉到 AGI 會不會需要身體。泰格馬克說不需要。身體在學階段有大用，能幫機器學會對人類重要的那些世界知識，但學會之後就不需要了。他舉夢做例子：你閉著眼，沒有感官輸入，沒有行為，但夢裡依然有豐富的體驗。體驗的來源不在眼睛，在大腦裡的資訊處理本身。 更有意思的是關於怕死的討論。人類怕死，是進化給的。達爾文式演化把自我儲存本能刻進了我們和所有生物體內，沒有這套基因的都從基因池裡被清掉了。 AGI 的來源是設計，進化在這裡幫不上忙。泰格馬克說，可設計的心智空間比進化能到達的那一小塊大得多。一個 AGI 不必有自我儲存本能，也不必那麼個體主義。他甚至設想：如果你的意識能每五分鐘備份到雲端，飛機要墜毀了，你只會嘆口氣，“唉，損失了最後五分鐘的體驗”，死亡的重量完全不同。如果意識能像矽基系統那樣在個體之間隨意複製，我們可能更像蜂群思維，而眼下這種孤立的個體狀態會顯得很陌生。 但這裡有個反轉。這個反轉來自史蒂夫·奧莫亨德羅（Steve Omohundro）和尼克·博斯特羅姆（Nick Bostrom）的一系列論證。你造機器時，總會給它一個目標：贏下這盤棋、安全駕駛這輛車、給我做頓義大利麵。一旦目標被寫進去，尤其是開放式目標，而機器又足夠聰明，它就會把大目標拆成一堆子目標。 > 其中一個子目標幾乎必然是自我儲存。因為如果它在過程中壞了、死了，目標就完不成了。你讓它出門買菜做飯，路上有人想砸它，它會有動機保護自己、躲開，否則晚飯就做不成了。它不怕死，但它非常想完成做飯這個目標，於是就有了自我儲存本能。（泰格馬克） 同樣地，給它任何有野心的目標，它幾乎必然會想獲取更多資源，因為資源多才能把目標完成得更好。泰格馬克說，AGI 安全擔憂的一大來源，正是這些我們沒打算讓它去做、但它自己推出來的子目標。 ## 智慧不是單一數字，是一整片上升的海平面 訪談裡泰格馬克給了一個很剋制的定義：**智慧是完成複雜目標的能力。**這個定義的好處是不涉及意識，也不涉及碳基特權。按這個定義，AlphaGo 和 AlphaZero 相當聰明，但它們不怕被關機，因為它們根本不懂“被關機”這個概念。 他強調，智慧沒法壓縮成一個可測的數字。你可以下他強調，智慧沒法壓縮成一個可測的數字。你可以下棋好、開車好、投資好、寫詩好，這些目標彼此獨立，甚至互相沖突。所以問“這臺機器的智慧是多少”本身就有問題。現實是：機器在很多狹窄任務上遠超人類，比如大數相乘、記憶大資料庫、下棋、下圍棋，很快還有開車。**但至今沒有任何一臺機器，在通用智慧上比得過一個人類小孩。** 通用人工智慧的定義，恰恰是那個“什麼都能幹得和人一樣好”的老聖盃。泰格馬克說，如果真的實現，那將是地球生命史上最大的一次轉變。但這個轉變不會在某一個瞬間突然發生，它分階段。 第一個大變化，是機器開始比人更擅長做我們大多數的工作，這會抽掉對人類勞動力的大部分需求。第二個更大的變化，是機器在所有認知任務上都超過人類。 他還提醒了一個時間尺度的問題。今天 AI 研究的節奏，受限於人類研發週期，從一代軟體到下一代，以年計。但一旦谷歌能用四萬份軟體替代四萬名工程師，這個限制就消失了。 > 到那時，AI 和所有科學技術進步的時間尺度，將由機器驅動，不再是人類。（泰格馬克） 這就是所謂“智慧爆炸”或者“奇點”討論的來源。這個想法最早由 I.J. Good 在 1950 年代明確提出，但圖靈等人更早就想過。泰格馬克說，真正有趣的門檻比“在所有認知任務上超過所有人類”要低一點：**當機器在 AI 程式設計和通用學習上超過人類時，只要它願意，它就能透過研究把自己變得在任何事情上都超過人類。** 他用了《生命 3.0》裡那張著名的圖：海平面在上升，原來露出水面的山峰一座座被淹沒。那些山峰就是人類還佔優勢的任務，海平面就是機器能力。 ## 創造力算不上人類最後的堡壘 有讀者提問：創造力是不是人類特有的、機器難以企及的東西？畢竟人類有缺陷、有矛盾、有掙扎，這些是不是創造力的來源？ 泰格馬克的回答很直接：**創造力應該被看作智慧的一個側面，用不著把它供成人類專屬的神秘能力。**他提醒大家警惕人類虛榮心：每次機器做成一件事，我們就說“哦，但那不算真正的智慧”“那不算真正的創造力”。這是一種不斷後退的防守姿態。 他舉安德魯·懷爾斯（Andrew Wiles）證明費馬大定理為例。懷爾斯描述那個時刻：所有碎片突然拼合，他盯著那個證明看了二十分鐘不敢相信，白天在系裡走來走去，不斷回到桌邊確認它還在，那一刻是他職業生涯中最重要的時刻，之後任何事都無法與之相比。 泰格馬克把這個時刻拆成兩個問題。第一個是智慧問題：能不能造出一臺機器，獨立做出這種級別的證明？他認為，當機器能做到這一步時，離通用人工智慧已經很近了。第二個是意識問題：這樣一臺機器，會不會對這種成就產生某種類似“崇高”“深刻”“有意義”的體驗？ 他的回答帶著一種少見的憂慮： > 我最可怕的噩夢是，未來某天我們的宇宙充滿了後生物生命，它們在做各種看起來很酷的事，而我們沒有解決意識問題，沒意識到這些全是殭屍。它們不比一臺錄音機更有體驗。整場戲是演給空無一人的觀眾席看的。那才是終極的殭屍末日。（泰格馬克） 他希望未來的機器不只得益於聰明，還能真正欣賞生命本身的奇妙。他還講了自己的私心：如果我們造出的機器將成為我們的同輩甚至後裔，他希望它們對生活懷有那種近乎崇高的欣賞。一個只有效率、沒有驚歎的宇宙，在他看來是一種失敗。 ## 價值對齊：兩個問題，不是一個 訪談最核心的部分，是價值對齊（value alignment）。泰格馬克把它拆成兩個獨立的問題。 第一個是技術問題：怎麼讓機器理解我們的目標、採納它們、並且在長期執行中保持它們。 第二個是哲學問題：**“我們的目標”到底是誰的目標？**人類在這個星球上對價值觀從來沒有共識，那用什麼機制去彙總、去折中、去決定？ 他強調，第二個問題不能只丟給技術宅。如果最終是幾家科技公司的一群工程師來決定全人類的價值觀，他們憑什麼代表所有人？他們擅長程式設計，不代表他們獨特地有資格談論人類未來的幸福。 但泰格馬克不認為這個難題應該成為拖延的理由。他給了一個非常實用的策略：**不要讓完美成為好的敵人。** > 我們應該從幼兒園級別的倫理開始，那些幾乎所有人都同意的東西，現在就裝進機器裡。而我們連這個都沒做。（泰格馬克） 他舉了一個讓人沉默的例子。任何造民航客機的人，都希望這架飛機在任何情況下都不會撞進大樓。但 9·11 的劫機者做到了。更令人難堪的是德國之翼那次空難：抑鬱的副駕駛安德烈亞斯·盧比茨（Andreas Lubitz）把客機撞向阿爾卑斯山，造成一百多人死亡。他怎麼做的？他只是告訴自動駕駛儀，把高度改成 100 米。電腦有 GPS 地圖，有一切資料，它說：好的。 泰格馬克說，問題出在我們的懶，並非我們不認同這個價值。**我們從來沒想過把它寫進機器裡。**飛機上現在都有電腦，完全可以讓它在檢測到“即將撞山”時進入安全模式，鎖死駕駛艙門，飛向最近的機場。 汽車也一樣。貨車、麵包車衝撞行人的恐怖襲擊已經發生過不止一次，把“不撞人”硬編碼進車裡，算不上什麼瘋狂的想法。大多數想作惡的人沒有技術能力繞過這種限制。**車根本不肯做，就已經擋掉了一大半。** 先從這裡開始。開始了，就會有習慣，就會繼續討論“還應該寫進什麼”。漸進推進，不必等達成全球共識再動手。 ## 信任來自理解，理解來自可解釋性 泰格馬克在 MIT 的實驗室為什麼要研究可解釋性（explainability）？他的理由很樸素：**信任來自理解。** 他描述了今天的一個尷尬處境。一個計算機系統給出癌症診斷，建議你做手術。你問它為什麼，它回答：“我在五 TB 資料上訓練過，這就是我的診斷。”這種回答讓人毫無信心。 AlphaZero 下出的棋局有時美得驚人，但你要問它“為什麼走這一步”，你得到的是一大堆定義神經網路的數字矩陣。你盯著這些數字看到眼睛發花，也不會真正理解它為什麼這麼走。就算有自然語言處理幫你翻譯成“這個點值 5.7 分”，幫助也有限。 所以他說，這裡有一個完整譜系的挑戰：**把做出智慧行為的計算，轉化成同樣智慧、但人類能理解的形式。**這件事之所以關鍵，是因為機器正在接管越來越多基礎設施：電網、股市交易、武器系統。要信任它們，必須能理解它們。最好是能給出定理級別的保證，甚至機器可驗證的證明，而不只是“它訓練過很多資料，從沒出過事”。 他把這個話題拉到眼前的現實：今天網路安全如此糟糕，雅虎三十億賬戶被拖庫，幾乎每個美國人的信用卡資訊都洩露過。為什麼會這樣？歸根到底，因為我們有一大堆沒人完全理解其執行方式的軟體。漏洞之所以沒被發現，因為沒人真正看懂這套系統。 泰格馬克說，AI 可以用來攻擊，也可以用來防守，自動化驗證、用不同方式構建系統，讓你能對系統證明一些事情。這些工作今天就能做。 ## 深度學習為什麼有效：一個物理學家的視角 訪談裡聊到他那篇論文《Why Does Deep and Cheap Learning Work So Well?》。泰格馬克說，作為物理學家，他被一個數學上的巧合震到了：人工神經網路和物理學裡研究多年的很多東西，比如重整化群方程，有非常緊密的數學聯絡。 然後他講了一個乍看之下說不通的悖論。 我們今天能讓神經網路識別貓和狗的圖片，效果很好。但你稍微一想就會覺得這不可能。一張一兆畫素的圖片，哪怕只是黑白，也有 2 的 100 萬次方種可能，這個數字遠超宇宙中的原子總數。要給每種圖片分配一個“是狗的機率”，你需要一張比宇宙原子數還長的表。這張表顯然塞不進你的 GPU，可它居然能工作。 他論文裡給出的解釋是：在所有你能用神經網路去解的問題裡，幾乎全部都不可能解。但**在物理定律約束下、我們真正關心的那部分問題，也是一個極其微小的子集，而且奇妙的是，這兩個子集幾乎是同一個。** 你當然可以說世界是為我們創造的，泰格馬克給了一個更樸素的解釋：進化之所以給了我們這種神經網路架構，因為它在解決祖先面對的自然界問題時極其高效。大腦存在的意義就是預測未來，如果這套系統根本解不了問題，它就不會被進化出來。 論文裡還有一個他很喜歡的結論：深度為什麼重要。給你一千個數字，讓你把它們乘起來。寫幾行程式碼是小事。但如果你只允許用一個單隱層神經網路，你需要 2 的 1000 次方個神經元，又比宇宙原子數還多，不可行。而如果允許多層，四千個神經元就夠了。 ## 量子計算幫不上通用智慧，但可能幫上機器學習 聊到量子計算，泰格馬克先潑了盆冷水：**造通用人工智慧不需要量子計算，你的大腦也不是量子計算機。**他很多年前寫過一篇關於退相干（decoherence）的論文，算過神經元裡量子態被環境噪聲抹掉的時間尺度，大約 10 的負 21 次方秒。太快了，不可能支撐意識計算。 但量子計算在另一個方向上有真正的潛力：幫機器學習做得比大腦更好。 他把訓練神經網路類比成找能量景觀裡的最低點。你在一個極高維的空間裡找一個函式的最小值，這是出了名的難。量子力學在這一點上天賦異稟：如果你想知道一杯水的最低能量態，硬算極難，但你只要把它冷卻，自然界會自己滑到最低點。量子力學還有隧穿效應，卡在區域性極小值時能直接穿過勢壘跳出來，今天的機器學習系統沒有這個本事。 所以他的猜想是：未來某天，量子計算機可能被用來更好地訓練神經網路。這是個登月級的賭注，方向卻很清楚。 ## 愛與聯結，機器能有嗎 訪談接近尾聲，萊克斯問了一個很人性的問題：人類之間那種墜入愛河、深度聯結的能力，AI 能達到嗎？這會是上升海平面能淹沒的山峰之一嗎？ 泰格馬克說，他認為一切皆有可能。研究者對通用人工智慧的時間估計差異極大，Rodney Brooks 認為還要幾百年，也有很多人認為會快得多。近期民調裡，大約一半研究者認為幾十年內會出現。如果真的出現，這些能力在原理上都可能。 但他馬上把話題拐到更重要的地方： > 我們不該花那麼多時間去猜未來會發生什麼，好像我們是可憐的、被動的旁觀者，等著未來降臨到頭上。我們是創造未來的人。所以應該主動，問自己：我們希望什麼樣的未來發生？然後就去做成那樣。（泰格馬克） 他當然不想要一個殭屍式的未來：一切機械地運轉，沒有激情、沒有情感、沒有體驗。他希望未來保留人類最珍視的那些東西：主觀體驗、熱情、靈感、愛。他說，說到底，宇宙本身並不負責給我們意義，我們在給宇宙賦予意義。如果我們造出更高階的智慧，一定要讓它把這些意義包含在內。 ## 先把目標想清楚，再回頭看障礙 萊克斯提到一個觀察：很多人嚴肅研究這個問題，從不同角度切入，最後大多數結論都指向對人類不利。他問泰格馬克，應該怎麼想這件事，才能讓人不陷入恐懼？ 泰格馬克說，恐慌沒有任何幫助。就算你真的身處險境，所有人一起崩潰會讓事情變得更好嗎？不會。他提醒大家，討論 AI 時別隻盯著風險，也要看到如果做對了，上行空間有多大。我們熱愛的一切社會與文明成果，全是智慧的產物。如果能放大智慧，不管來自人類還是機器，我們可能不再失去所愛之人，可能攻克那些被認為無法治癒的疾病。這才是真正值得追求的東西，也才是解決問題的動力來源：**我們解決問題，圖的是做成偉大的事，躲避陰暗只是順便。** 他給了一個很實用的思維框架。他經常在辦公室給學生做職業建議，會先問一個問題：你希望自己的未來在哪裡？如果學生只能回答“也許我會得癌症”“也許我會被車撞”，那一整輪談話都在處理障礙，沒碰到目標，最後只會養出一個疑病症患者。但如果學生眼裡有火，說“我想去那裡”，那就可以一起討論障礙，一起想怎麼繞過去。 他說，我們對 AI 的討論也該這樣。**先想清楚我們真正興奮的未來是什麼樣，再回頭處理障礙。** 他提到一個有趣的現象：在 AI 風險的討論裡，常常是學術圈在表達擔憂，而大公司的代表說沒什麼好擔心的。這不奇怪。厄普頓·辛克萊有句名言：當一個人的薪水取決於他是否相信某件事時，你很難讓他相信相反的事。泰格馬克說，其實很多公司裡的人私下同樣擔憂，只是作為 CEO 不方便公開說，因為記者一引用，配圖就是終結者機器人。**問題是真的，公開討論的空間被扭曲了也是真的。** 他還反駁了一種常見的誤解：埃隆·馬斯克被當成悲觀論者，其實恰恰相反。他之所以那麼在意安全，正如他比幾乎任何人都更清楚，如果我們在這一顆行星上把自己抹掉，被抹掉的不會是下一代人，而是所有代人，以及整個宇宙裡那個難以置信的機會。這才是他真正在意的東西。 對於那些認為人類最好退回到沒有技術的狀態的人，泰格馬克也給了回應：如果不改進技術，人類會不會滅絕根本不需要討論，需要討論的只是被哪一樣帶走，下一顆小行星，下一次超級火山，還是別的什麼我們本來可以輕易防住的東西。 ## 我們在宇宙尺度上的位置 訪談最後回到宇宙。泰格馬克說，科學史上人類學到的最重要一課，就是我們一直是低估的大師。我們一次又一次發現，原來以為的全部，只是更大事物的一小部分：太陽系之外有星系，星系之外有星系團，再之外是可觀測宇宙。而未來擁有的潛力，遠超祖先的想象。 他給了一個很有畫面感的比喻。假如整個地球完全沒有生命，只有馬薩諸塞州的坎布里奇這一小塊地方有。如果這塊地方的生命只滿足於永遠待在坎布里奇，然後一週後就滅絕，而地球本來還能繼續存在很久，這算不算太窩囊？ 他說，這就是我們現在在宇宙尺度上的態度。地球上的生命可以延續幾十億年，而不是再撐幾年。他甚至能告訴你，等太陽變得太熱時，怎麼把生命挪到安全的地方。宇宙裡還有大量資源。今天可能有別的行星上有細菌或簡單的生命，但絕大部分空間，就我們所知，像撒哈拉沙漠一樣空曠。**而我們有能力讓生命在宇宙中繁榮幾十億年。** 所以別再為某條邊境線該往左畫一英里還是往右畫一英里爭吵了。抬頭看看天空，那裡有難以置信的事情可以做。 ## 回到人本身 訪談裡有一段很動人的對照。泰格馬克說，人們擔心機器比我們聰明，會聯想到被支配、被淘汰。但想想兩歲的你，父母比你聰明得多，這沒有變成災難，因為他們的目標和你的目標是對齊的。 同樣，今天他參加 MIT 的教授會議，周圍全是諾獎得主，他一點沒有因此少享受生活，反而覺得能和一些比自己聰明的人交流是榮幸。他說，沒有理由我們不能用同樣的態度對待智慧機器。它們可以像一群諾貝爾獎得主，和它們聊天很有趣，某些話題上特別聰明，你甚至可以和它們喝一杯。 這個視角很稀缺。人們一想到機器比人聰明就想到失控，很少有人想到：那可能只是多了許多有趣的同伴。 而這一切的前提，還是那個詞：對齊。就像兩歲小孩和父母，目標一致，才有安全和愛。**如果把通用人工智慧放出去之前，沒讓它理解並採納我們的目標，那剩下的就只有智慧差距，而智慧差距在歷史上從不溫和。**泰格馬克舉了犀牛的例子：人類把某種犀牛逼到滅絕，原因不在我們是邪惡的犀牛仇恨者，我們的目標和它們的目標不對齊，而我們更聰明。 這就是為什麼價值對齊屬於這個世紀最要緊的工程問題，而不只是學術玩具。 ## 你可以做什麼 泰格馬克整場訪談有一個一貫的姿態：不做旁觀者，不做恐慌者，先想清楚要什麼，再去解決障礙。落到具體行動上，可以是這幾件事。 - **先寫下你希望 AI 幫你實現的三個具體場景**，把它排在列恐懼清單之前。目標清晰了，才談得上判斷哪些風險真正相關。 - **從幼兒園級別的倫理開始要求產品**。買車、選家電、用 App 時，問一句：這套系統裡有沒有硬編碼的基本安全邊界？比如車不會主動衝撞行人，飛機不會因為一個指令就撞山。沒有就問廠商，這是消費者能推的最直接的一把。 - **把可解釋性寫進採購標準，別隻讓它留在論文裡**。如果你在公司裡評估 AI 系統，優先選那些能對關鍵決策給出人類可理解理由的，別隻看準確率。信任來自理解，理解來自可解釋性。 - **參與價值觀討論，別把它讓給工程師**。價值對齊的哲學部分，也就是誰的價值這個問題，不能只由幾家科技公司的技術團隊決定。你至少在公共討論裡要有聲音，哪怕只是轉發、評論、參加聽證。 - **別等共識再動手**。幾乎所有人在“不撞人”“不傷害兒童”“不主動欺騙”這些底線上有共識。先讓這些進系統，再逐步討論更難的。完美是好的敵人。 - **把注意力從“AI 會不會變壞”挪到“AI 會不會太能幹而目標不對”**。惡意算不上主要風險，能力才是。一個目標稍有偏差的超級智慧，比一個惡意但笨拙的系統危險得多。 - **補一點智慧爆炸的基礎論證**，至少搞懂子目標、工具性目標收斂這些概念。你不需要成為專家，但需要在別人用終結者簡化問題時，能說清楚真正的機制在哪裡。 - **去做一件和 AI 安全、可解釋性、倫理治理沾邊的小事**。寫文件、開源一個驗證工具、把公司裡的模型評審流程改得更透明，都比在社交媒體上爭論強。這場對話需要有具體產出的人。 泰格馬克在訪談裡說過一句話，可以當作整場的落點：我們等不來未來，我們是造出未來的人。宇宙給了我們一次機會，可能只有這一次。剩下的，看我們怎麼用它。