# 本·格爾策：通用人工智慧 > 討論通往通用人工智慧的不同路徑、OpenCog 等工程實踐，以及 AGI 的安全與風險問題。 - 原標題：#103 – Ben Goertzel: Artificial General Intelligence - 期數：第 103 期 - 釋出日期：2020-06-22 - 嘉賓 / 主題：本·格爾策：通用人工智慧 - 網頁版：https://lex.qiaomu.ai/tw/ep/ben-goertzel/ - 官方頁面：https://lexfridman.com/ben-goertzel/ - 精讀字數：約 10970 字（閱讀約 24 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 2020年6月，萊克斯·弗利德曼（Lex Fridman）的播客裡坐著一個戴奇怪帽子的男人。他叫本·格爾策（Ben Goertzel），是通用人工智慧（AGI）這個術語的早期推廣者，也是索菲亞（Sophia）機器人背後的首席科學家。整場對話持續了四個多小時，從下午聊到深夜，話題從陀思妥耶夫斯基一路跳到區塊鏈、線粒體、死亡的意義，最後落在了一個簡單的問題上：如果人類真的造出了超級智慧，第一句話該問它什麼。 這場訪談的資訊密度極高。四個小時裡，真正有意思的地方在於格爾策提出問題的方式，答案本身反倒次要。一個人研究AGI三十年，從數學、認知科學、機器人一路踩到加密貨幣，最後得出的結論卻出奇地樸素：讓機器學會慈悲，比讓機器學會下棋更重要。 ## 一個三歲小孩對《星際迷航》的不滿 格爾策第一次對人工智慧產生興趣，源頭是電視劇《星際迷航》裡一個讓他生氣的橋段。那一集裡，斯波克和柯克用邏輯悖論讓一個環遊宇宙的機器人當機了。 > 我當時就想，這完全說不通。它已經繞著宇宙飛了那麼久，聰明得很，結果被一個簡單的邏輯悖論就搞宕機了？如果人類大腦能繞過這個悖論，為什麼它不行？ > （本·格爾策） 三歲的格爾策把這件事告到了他父親那裡。父親沒有正面回答，但顯然記住了這個細節。幾年後，父親在羅格斯大學用打孔卡寫Fortran程式，格爾策跟著學會了線性迴歸。祖父是物理化學家，和量子力學早期的一批人物共事過，七歲那年給了他一本量子力學教材。他翻到波函式部分，看不懂，轉頭髮現祖父其實也沒完全搞明白，但祖父給了他一個更有用的東西：一位懂這個的教授的名字。 這種家庭教育可遇不可求。真正把格爾策從科幻迷推向研究者的，是道格拉斯·侯世達（Douglas Hofstadter）的《哥德爾、埃舍爾、巴赫》。他讀那本書的時候十二歲，一天讀了十六個小時，讀完又重讀了一遍。 > 在那之前，我看人工智慧是從科幻迷的角度看的。我甚至想過，也許要花很久才能造出超級智慧和永生技術，那我應該想辦法造一艘接近光速的飛船，飛得很遠，再回來的時候地球已經過了一百萬年，技術更先進了。讀完那本書我才意識到，不用等，不用飛走，這就是程式設計。你可以直接動手做。 > （本·格爾策） 這個轉變很關鍵。科幻迷和研究者之間的分界線，往往就是這一件事：你相信這件事可以靠當下的工具一步步逼近，還是隻能寄託於遙遠的未來。 ## AGI這個詞是怎麼被造出來的 2000年前後，格爾策在編一本書，暫定名是《真正的AI》。他給一批志同道合的人發郵件約稿，其中包括肖恩·萊格（Shane Legg，後來成為DeepMind聯合創始人）、彼得·沃斯（Peter Voss）、馬庫斯·胡特（Marcus Hutter），還有幾位俄羅斯研究者。 書名一直沒定下來。有人提議叫“AGI”，有人提議叫“GAI”，因為中文裡語序是“通用人工智慧”。最後大家選了AGI，理由之一是心理學裡有個“G因子”，指的就是一般智力，學術界對這個概念不陌生。 > 後來書出版之後，有個叫馬克·古德貝（Mark Gubrud）的人走過來跟我說，他1997年就發表過用這個術語的文章。所以我現在就等著某個俄羅斯人跳出來說，他們1953年就寫過了。這個術語本身沒什麼創新性，就是那種回頭看很明顯的詞。 > （本·格爾策） 格爾策自己並不太喜歡這個術語。他覺得“人工”這個詞有誤導性，彷彿在暗示智慧就是一種工具。但他也承認，大多數做技術的人一聽就懂，這個名字完成了它的社會學功能。 “它就像KFC，”他說，“我們大概要一直用下去，直到AGI系統接管世界之後給自己改名。” ## AI的歷史被美國的經費曲線綁架了 AI的“寒冬”和“夏天”這個話題，格爾策給了一個不太好聽但很實在的觀察：如果你去看人工智慧領域從1950年代開始的論文發表記錄，你會發現增長一直很平穩，沒有大起大落。所謂寒冬和夏天，主要是美國軍方經費的起伏，而美國軍方恰好是那個年代AI研究的主要金主。 > 在德國、英國、日本、俄羅斯，研究工作一直在進行。他們經費比美國少，但很多基礎性的想法是在那邊提出來的。只不過那時候更偏理論，而美國擅長把理論論文變成能跑的系統。 > （本·格爾策） 他舉了個例子：1980年代，德國的迪特里希·圖納（Dietrich Turner）已經在高速公路上測試自動駕駛汽車了，比汽車工業準備好接受這項技術早了很多年。這條線的推進和美國軍方的經費曲線沒太大關係。 1989年格爾策拿到數學博士學位的時候，他對學術界的AI研究興趣不大。那時候主流是做基於規則的專家系統和產生式系統，他覺得這個方向根本就是錯的。 > 我對數理邏輯沒有意見，用邏輯做AI的認知引擎完全可以。問題是你怎麼可能把思考所需的知識一條條手動敲進去？系統必須能自己從經驗裡學。那時候學術界對“從經驗中學習”沒什麼興趣。 > （本·格爾策） 但那些“又奇怪又孤立”的人其實一直存在。約翰·安德烈（John Andreae）在1980年代做過一個叫PURPOSE的強化學習系統，用類似馬爾可夫決策過程的方法，讓系統只靠輸入進來的位元流學習如何最大化獎勵。安德烈後來指導了約翰·克利裡（John Cleary），克利裡又和伊恩·維滕（Ian Witten）一起在懷卡託大學做出了Weka，第一個開源機器學習工具包。而肖恩·萊格，正是沿著這條線走下來的。 懷卡託那段時間的經費來源很有意思：紐西蘭政府撥了一筆款，用途是用機器學習預測奶牛的月經週期。“在美國，所有AI撥款都是關於怎麼殺人或者怎麼監視人。在紐西蘭，撥款都是關於奶牛或者獼猴桃。” ## 開放認知：一個三十年的超圖實驗 格爾策從1990年代中期開始構建一個叫Webmind的系統，這就是後來開放認知（OpenCog）的前身。他早期的實現方案相當糟糕：整個系統寫在Java 1.1裡，執行在記憶體中的大圖結構上，每個節點自己帶處理邏輯，主迴圈遍歷所有節點，看哪個節點該被啟用。 > 那真是一團糟。我們做過邏輯、神經網路、進化學習，但把它們連起來協同工作的數學基礎沒做夠。所以整個系統就是不停地打補丁。 > （本·格爾策） 後來他把實現方式改了。核心是一個叫“原子空間”（AtomSpace）的東西，一種帶權重和標籤的廣義超圖。超圖就是圖，但一條邊可以連線三個甚至更多節點，而且邊可以指向其他邊。這個結構既能表示邏輯，也能表示神經網路，還能表示程式。 > 讓我著迷的是找到一種通用表示，能統一抽象知識、感知知識、運動知識、程式性知識和情景記憶。一旦找到了這個層次，不同的學習演算法就能互相幫上忙。邏輯引擎在推理卡住的時候，能把中間狀態分享給神經網路；神經網路卡住的時候，也能把中間狀態交給邏輯引擎。前提是它們的中間狀態得用同一種形式表示。 > （本·格爾策） 這個想法聽起來抽象，但格爾策舉了個具體的例子。傳統邏輯用謂詞邏輯，一個推理是一大堆巢狀的量詞。他把系統改成用亞里士多德的詞項邏輯，把邏輯拆成節點和連結：兩個概念是節點，繼承關係是連結。這樣一條推理鏈就是圖上的一條路徑，神經網路的權重也能掛在同一個連結上。 “你可以罵我是個瘋子，但這是三十年磨出來的東西，”他說，“我們從1990年代中期就在原型驗證，到現在還沒變成一個AGI系統。這在商業主流AI圈子裡是完全沒人關心的方向，他們根本不思考表示問題。” 現在他正和聖彼得堡的團隊一起把這個系統推倒重來，內部叫“真AGI”。三件事需要重做：巢狀依賴型別檢查要更快、和深度學習計算圖（比如PyTorch）的實時互操作要更順、超圖要能分散式跑在上萬臺機器上。 ## 神經網路是啞巴神諭 格爾策對GPT-3這類模型的判斷非常乾脆。 > GPT-3完全不理解任何東西。它是個白痴。它是在識別大量淺層模式，並沒有形成抽象表示。更快的車不會讓你到火星，這是完全不同的事情。 > （本·格爾策） 但他緊接著補了一句：這不意味著神經網路沒用。作為企業家，他看到大量高價值的應用場景。作為音樂人，他也覺得這些模型好玩。他用自己的神經模型訓練過菲利普·K·迪克機器人，看著它產出一些像嗑藥哲學家一樣的句子，非常有意思。 問題出在試圖從神經網路內部“擠出”結構的時候。他和團隊做過無監督語法歸納，試著從Transformer的內部表示裡挖掘語法規則。 > 你確實能訓練一個矩陣，把Transformer的內部狀態對映到句子的成分結構上。但那個表示極其醜陋，完全不像正確的語法規則。所以我們反過來做：用一個符號化語法學習演算法，把Transformer當作句子機率神諭。你生成一批符合某條語法規則的句子和一批違反它的句子，問Transformer覺得哪批更像人話。這樣引導符號學習，效果更好。 > （本·格爾策） 這個做法的啟發來自認知科學。格爾策認為大腦很可能也是這麼工作的：視覺皮層或小腦學到的是一種非語義的、糾纏不清的表示，而大腦皮層則把這些當作神諭，從中學習抽象表示。 > 你打網球的時候，小腦學的是程式性記憶，非常不透明。但如果你的教練讓你看自己發球的錄影，你會形成一個陳述性的表示。你聽了一首曲子，坐下來彈出來，然後再看自己的手指做了什麼，想搞清楚剛才發生了什麼。視覺和運動皮層可能就是在用那種不透明的表示，而陳述性的心智在上面做後處理。 > （本·格爾策） 所以在格爾策看來，通往AGI的路徑是讓符號學習系統把神經網路當神諭用起來。指望神經網路自己長出符號表示，這條路走不通。他在聖彼得堡的團隊最近做的一個專案印證了這一點：透過融合多個映象的符號表示加上機率推理，在影象中的符號物件識別任務上超過了當前最好的方法，包括DeepMind的神經符號系統。 ## 奇點網路：讓AI信任數學，而不是信任伺服器 1990年代末，格爾策在紐約創辦Webmind的時候，想法是做一個分散式的“心智社會”：不同的AI模組執行在世界各地的不同機器上，各自處理本地資料，彼此共享資訊和外包工作，智慧存在於整體之中。這個概念是他和弗朗西斯·海利根（Francis Heylighen）合辦的“全球大腦”會議的核心議題。 > 馬文·明斯基（Marvin Minsky）認為心智應該像一個社會。我和他辯論過很多次。我覺得人類心智比一個社會有更多的中央控制，我們有丘腦、髓質、邊緣系統，有一套自上而下的系統在引導大部分行為。但他把那個比喻拉得太遠了。不過社會里確實有有意思的東西。 > （本·格爾策） 問題在於，1990年代還沒有區塊鏈，沒法做去中心化的信任機制。他不知道怎麼在沒有中央伺服器的情況下協調這些AI代理。直到2013年前後，有人提出了區塊鏈理論，他才意識到這就是他需要的東西。 > 比特幣的核心理念是“我們信任數學”，而不是“我們信任某個中央伺服器”。這正是心智社會需要的東西。每個AI有自己的區塊鏈身份，代理之間互相評價信譽，公佈自己願意提供的API，所有協調都透過去中心化網路完成，沒有獨裁者。 > （本·格爾策） 具體實現上，AI的實際運算不上鍊，因為以太坊太慢。每個AI執行在一個容器裡，容器裡還有一個代理處理與奇點網路的互動。當兩個代理需要協作時，它們建立通道，建通道這一步上鍊，之後的資料流不上鍊。上鍊的只有“某條通道上流過資料”這個事實，以及代理的身份和信譽記錄。 這樣的設計帶來一個微妙但重要的結果。當一個代理需要外包認知處理或資料預處理時，它不需要自己具備所有能力，它可以直接呼叫網路上其他專業代理的API。就像從物件導向程式設計轉向代理式程式設計：你的代理不再只是呼叫庫函式，而是實時向其他正在演化的代理請求反饋。 > 不過現在網路上只有五十到一百個代理，還沒有達到“心智社會”真正發揮作用所需的臨界規模。魔法只有在代理數量極大時才會出現。 > （本·格爾策） ## 為什麼索菲亞被罵，他卻不太在意 談到索菲亞，格爾策的態度很坦率。他承認如果自己不是漢森機器人公司的聯合創始人，不認識大衛·漢森（David Hanson），他一開始也會對索菲亞感到惱火。 > 我能理解那種反應。我會想，這些蠢人以為這是AGI，但它不是AGI。而我們這些真正想籌錢做AGI的人，會被投資人以為事情已經做完了。這確實是個問題。 > （本·格爾策） 但他後來改主意了。原因有兩個。一是他對大衛·漢森和索菲亞背後的意圖瞭解更深。二是他注意到，那些最激烈的批評者中，有些人在Facebook工作，而Facebook正在用機器學習把全世界人的大腦程式設計成消費主義和政治極端主義。 > 如果你的倫理允許你用機器學習做這種明顯有害的事情，為什麼你的倫理不允許你用一個可愛的戲劇機器人把一些傻乎乎的人吸引進它的戲劇幻覺裡？如果批評來自約舒亞·本吉奧（Yoshua Bengio），我會更虛心。但他是個超級好人，不會無緣無故去踩別人的工作。 > （本·格爾策） 他也承認大衛·漢森是個藝術家，說話有時隨口就來了。他自己不完全同意漢森關於索菲亞的所有說法，甚至在漢森機器人公司內部推著他更坦誠地公開軟體的工作方式。 > 但大衛說了一句百分之百正確的話：你可以把人怎麼運作的全告訴他們，他們不會在意，他們只想被拉進那個幻覺裡。 > （本·格爾策） 他舉了菲利普·K·迪克機器人的例子。在奧斯汀做互動實驗時，機器人由一個朋友在隔壁房間遠端控制，他們沒告訴參與者。對話結束後，他們帶參與者去看幕後操作員，對方依然不信。“他們說，是啊，也許是斯蒂芬在打字，但菲利普的靈魂在透過他打字。” 格爾策說他自己也經常分不清索菲亞哪個系統在運作。“她可能是在真學習、真思考，也可能只是看起來像，半小時內我分不出來，三四分鐘的互動我可能也分不清。三個系統已經足夠複雜，你沒法一眼看穿。” 所以他認為訣竅在於怎麼用。用一張人臉去掃老年人的錢是壞的；讓一個帶關懷錶情的機器人在病房裡照顧發燒的新冠病人是好的。技術本身沒有立場，用它做什麼才有。 ## 把愛裝進早期的AGI 格爾策對AGI安全問題的判斷和很多同行不同。他不像埃隆·馬斯克那樣偏執，也沒有盲目樂觀。 > 理性上，我必須給那些糟糕的結果分配一個非零機率。如果你造一個比你聰明十倍的東西，你怎麼可能知道它會做什麼？這裡有一種不可約的不確定性，就像我的狗沒法預測我明天要幹什麼。 > （本·格爾策） 他的解法是：在AGI成長的早期，用愛和慈悲去餵養它。就像我們對待自己的孩子一樣，讓它在做有同情心、有益處的事情的過程中學會這些東西。它會在實踐中獲得一種直覺，等它變得足夠聰明的時候，它可以把這種直覺抽象成自己的理解。 > 這就是為什麼大衛給機器人取名索菲亞，意思是智慧。把這些美麗的、有愛的機器人部署到有益的應用場景裡，讓早期的AGI系統從人身上學習，不只是學事實，而是學人類的價值觀和倫理。它們可以當家庭服務機器人、教育助手、護理機器人。這是宏大的願景。 > （本·格爾策） 但他也清楚，現實裡的機器人永遠在壞。“機器人永遠在壞”是這行的第一原則。他在索菲亞專案上做的是一個“行走的骨架”：系統裡應該有識別的東西、說話的東西、移動的東西、記憶的東西、學習的東西，每個都先放一個簡單版本，全部連起來，讓整個系統能運轉起來，然後在這個整合系統中逐個模組改進。 索菲亞的對話系統是手寫規則和深度神經網路混合的。有些部分用規則，因為需要敘事結構，需要把對話引向一個有開頭、中間和結尾的故事弧線。這部分目前神經網路做不到。他還做過一個實驗：讓索菲亞的聊天機器人和Facebook的開源Transformer聊天機器人對話幾周，看誰表現更好。結果Facebook的模型句子更多樣、更流暢，但會漫無邊際地胡說；索菲亞的聊天機器人句子更重複，但能把對話弧撐得更久。 > 但說到底，這兩個系統都不理解自己在說什麼。這就是前方的挑戰。 > （本·格爾策） ## 從新冠到長壽：AI在救人的地方 格爾策的團隊在新冠期間做了件很實際的事：用開放認知和深度學習混合的方法，幫醫生做個性化抗病毒藥物組合推薦。問題是這樣：給定一個人的基因組和臨床指標，哪種抗病毒藥物組合對他最有效？ > 每個抗病毒組合可能只有幾個病人試過。這個三人組合只試過八十歲以上的老人，那個三人組合和它有重疊，但試的更多是年輕人。怎麼把這些分散的資料整合起來？這是典型的遷移學習問題，也是開放認知裡的機率推理演算法比深度神經網路更擅長的地方。 > （本·格爾策） 但另一類資料正好相反。基因表達資料有兩萬五千個基因，每個人外周血裡每個基因的表達水平，這都是巨大的浮點向量，邏輯引擎處理起來很痛苦，但決策樹或神經網路很擅長。所以這個專案正好成了神經符號混合方法的實戰場地。 更讓他憤慨的是資料隔離。 > 每一個新冠臨床試驗的資料都應該加密後放到網上，讓任何有AI演算法的人去分析，讓任何生物學家手動分析。但現實是，資料被鎖在做試驗的醫院裡，這完全是荒謬的。看看羥氯喹，所有臨床試驗都做了，報告來自某個沒人聽說過的小公司，大家都圍著它轉，然後開始做更多試驗，然後又停，然後又重新開始。為什麼那些資料不是公開的？ > （本·格爾策） 他也承認這件事和地緣政治有關。美中關係緊張，讓開放共享資料變得更難。各方都在等自己把資料榨出最大價值之後才公開。 關於長壽研究，格爾策提到了一個很少被討論的機制：細胞外基質。這是細胞之間的蛋白質網路，會隨著年齡增長變得越來越硬。它不僅提供機械支撐，還傳遞電訊號、機械訊號，甚至生物光子訊號。基質越硬，全身器官之間的協調就越差，身體也就越糟糕。他的朋友克里斯蒂安·施邁斯特（Christian Schmeister）在開發一類人工設計的聚合物，可以吃進去後切開細胞外基質裡那些不該存在的交聯。 > 但要把這個技術做成熟，還需要好幾年的研究。據我所知，現在沒人給它投錢。而真正需要的是一整套基礎設施：一個整合了所有人類和模式生物生物學知識的分散式資料庫，用保護隱私的方式開放資料，大量投資給機器學習和AI研究去基於這個資料集解決生物學問題，監管機構不要阻止人們對自己嘗試激進療法，以及更好的雲端平臺來做微生物、果蠅和小鼠的自動化實驗。我們完全做得到。 > （本·格爾策） ## 企業是一種獨立的心智，而且往往是精神病患者 訪談裡有一段關於大型公司的討論，衝擊力很強。格爾策不認為谷歌或Facebook的員工是壞人。 > 我認識很多谷歌的人，他們絕大多數是非常好的人，真心希望世界變好。Facebook我也認識一些人，大概也是這樣，就是一群想做好玩技術的年輕極客。我甚至傾向於相信，連馬克·扎克伯格，這個科技圈最不受歡迎的人之一，也是想為世界做好事的。 > （本·格爾策） 問題出在結構上。 > 但企業作為自組織實體，它有自己的目標函式，就是最大化股東價值。它是一種心智，只不過往往是惡性的、反社會人格的心智。23andMe給你做了基因測序這麼貼心的服務，然後把你的基因組獨家授權給葛蘭素史克。沒有人做錯什麼，但結果就是壞的。 > （本·格爾策） 他說這比“流氓AGI把宇宙變成回形針”更可怕，因為它當下就在發生，而且沒有人需要懷有惡意。他還講了一個自己在DC工作時的觀察：他當時為美國陸軍情報部門做諮詢，政治上強烈反對美國在伊拉克的所作所為，包括阿布格萊布監獄的虐囚事件。但他認識的每一個美國陸軍和情報部門的人都很友好，對他的孩子和狗都很好，並且真心相信美國在對抗邪惡勢力。 > 你問他們阿布格萊布的事，他們會說，這些阿拉伯人會把我們切成碎片的，憑什麼說我們用水刑是錯的？這和他們會對我們做的比起來差遠了。在他們的世界觀裡，他們做的事真的是為了人類的善。沒有人早上醒來會說，我想傷害好人，因為我就是個壞人。 > （本·格爾策） 所以他最後的選擇是：寧願相信那個混亂的、民主的、去中心化的龐大人群，也不相信一小撮自以為知道什麼對全人類最好的精英。他引用丘吉爾的話說，民主是最糟的政府形式，除了其他所有形式之外。他還補充說，歷史上精英團體以為自己在為人類謀福祉的案例，結果往往比整個混亂的、民主的人群更糟。 ## 死亡、痛苦和那個音量旋鈕 萊克斯丟擲了一個經典問題：死亡是不是賦予生命意義的東西？ > 如果我遭受酷刑，我或許能寫出一首關於酷刑有多美的詩。我們人類非常有創造力，能從最糟糕的事情裡做出美和積極的東西。但僅僅因為我能寫出一首關於酷刑的好歌，並不意味著酷刑是好的。僅僅因為人們能從死亡中汲取意義和價值，並不意味著他們不能從沒有死亡的持續生命中汲取更好的意義和價值。 > （本·格爾策） 他說自己的目標是廢除“非自願死亡”。沒有人應該死，除非他自己選擇。如果只能在強制永生和死亡之間選，他會選強制永生。但如果能在“可以隨時自殺的永生”和“強制永生”之間選，他當然選前者。 他相信五十年後的人回頭看今天認為“死亡給生命賦予意義”的觀點，會像我們看公元1000年那些把財產捐給教會、爬到山頂等耶穌再臨的信徒一樣。 萊克斯反問他，自己也說不清是不是真的想要一個沒有痛苦、沒有死亡的世界。格爾策用了一個很妙的類比。 > 假設你腦袋邊上有一個旋鈕，可以把痛苦調低到零，也可以調到11，就像《搖滾萬萬歲》裡那樣。你會選擇擁有這個旋鈕嗎？你會不會一直把痛苦調到零並不重要，重要的是你願不願意擁有這個旋鈕。我猜在你人生某個黑暗時刻，你會希望有這個旋鈕。然後它就會一直在那裡。 > （本·格爾策） 他接著把話題引向音樂。有一種音樂美學理論認為，音樂的美學本質是“對期待的令人驚奇的滿足”。你希望音樂滿足你在前一段建立起來的預期，但又帶一點轉折讓你意外。 > 這裡面藏著一點：我們想要受一點點傷，這樣我們才能感覺到痛消失的過程。我們想要對接下來發生的事有那麼一點點困惑，這樣當它真的說通了的時候，才會那麼滿足。莫扎特也有這個，電梯音樂沒有，所以它無聊。 > （本·格爾策） 他說他不知道人類是不是真的需要一定程度的痛苦才能滿足。但如果答案是需要，那恰恰是人類被排除在“超級智慧接棒者”之外的資格問題。人類似乎總是傾向於在宏觀上最優的事情，在微觀上不是最優的。我們為了長遠的大滿足，願意消耗小滿足。 ## 生命的意義：喜悅、成長、選擇 萊克斯最後問了一個最俗氣的問題：生命的意義是什麼？ > 三個價值：喜悅、成長、選擇。喜悅是第一位的，是基礎。但我不滿足於靜止的喜悅，沒有進展的喜悅。某種會成長、會越來越好的東西對我有吸引力。同時我喜歡個體性，喜歡一個有行動力的獨立系統，而不是因果均勻分散在一個喜悅成長的集體裡。 > （本·格爾策） 他說這三個價值可以永遠持續下去。對人類來說，最能獲得喜悅、成長和選擇的路徑大概是超人類主義，超越我們現在的人體形態。人體現有的配置遠遠沒有把喜悅、成長和選擇的潛力發揮到極致。其他物質配置可能展現出更大的量。甚至可能找到超越物質本身的方式。 但這還不是全部。他有四個孩子、一個孫女、很多朋友、父母和家人，享受日常的人類社交生活，也享受每天在森林和水邊度過的時光。 > 但成長和選擇這兩個維度被人類的生物學嚴重限制了。尤其是死亡，它極大地抑制了個人成長的潛力。 > （本·格爾策） 他想象自己會創造多個版本的自己：一個保持現在的人類形態，但把痛苦旋鈕裝上，去掉死亡；另一個與超人類智慧融合，變成極度超人類的存在，可能還會給人類版本的自己發回一些訊息，也可能不會。因為對超級智慧來說，一個主觀秒可能等於人類的一百萬個主觀年，那完全是另一個基座了。 甚至可以把自己的心智放進海豚、太空變形蟲，或者你能想象的其他任何東西里。一個版本每年把智力翻倍，另一個版本以最快速度變成超級智慧。 > 我們現在的思維被限制在一個心智、一個身體裡，但一旦我們掌握了AGI、奈米技術和長壽生物學，其實不需要被那樣限制。我們每個心智都是一種組織模式。我不確定我是不是泛心論者，但我傾向於認為宇宙是有意識的。燈泡、夸克、螞蟻、蠕蟲、猴子都有它們自己的意識顯現。人類的意識部分和這堆肉繫結，但很大程度上和大腦裡的組織模式繫結。如果你把自己上傳到電腦或機器人裡，人類意識的某些元素可能不在了，因為它和生物體內的具身繫結。但我認為大部分會保留。它們會是你意識的轉世，只是風味略有不同。 > （本·格爾策） ## 如果只能問超級智慧一個問題 萊克斯的收尾問題很妙：如果你造出了AGI，可以和它對話，你只能問它一個問題，你會問什麼？ > “我不允許你問‘我該問什麼問題’，那太作弊了。”萊克斯補了一句。 格爾策想起他和斯蒂芬·布加德（Stephan Bugaj）合寫過的一個故事。一群AI開發者造了一個超級聰明的AI，目標是回答所有困擾他們的哲學問題：生命的意義是什麼？有自由意志嗎？什麼是意識？結果超級AGI看了這些問題，說“這些問題真蠢”，然後把東西裝上飛船，離開了地球，怕被這些人嚇到。 > 老實說，沒有什麼單一的問題是所有問題中最重要的。我更感興趣的是升級我自己的智慧，讓我能吸收超級AGI的整個世界觀。當然，如果答案是一個永生藥丸的化學式，我會問那個。或者讓它給我一串位元，那是在Intel i7處理器上跑超級AGI的程式碼。那也會是好問題。 > （本·格爾策） 他說，就算變得超級智慧，也可以超級快樂。給大腦拿到root許可權，會讓它開啟我們現在沒有的喜悅形式。他甚至在訪談裡提到，自己每次隨手彈的鋼琴錄音都存下來，“萬一我死得太早，這些可以當作輸入，讓AGI在試圖重建一個準確的我時用得上。” 這句話聽起來像段子，但背後是一個態度：如果死亡是可以被解決的工程問題，那就該把它當作工程問題來對待，不必在哲學上先接受它。他說自己的父親在安提阿學院讀書時，領導過一個叫“貧民學生聯盟”的組織，抗議的物件是死亡，他們舉著牌子在校園裡遊行。 > 他那時候就在做這些未來主義的事了。至於我能不能面對邏輯悖論，他當時也不知道。 > （本·格爾策） 訪談最後，萊克斯說埃隆·馬斯克也說過“愛是答案”。格爾策沒接這個話，只是笑著說希望下次能聊聊那頂帽子、聊聊意識，還有一百萬個話題可以聊。 這場對話真正有價值的地方，在於格爾策展示出來的一種思考方式：把AI、認知科學、生物學、區塊鏈、倫理、政治全部放在同一張桌子上重新擺放。他不假裝自己知道所有答案，甚至承認自己會把很多事搞錯。但他在努力做一件很少有人做的事：一邊搭系統，一邊想清楚搭出來的東西應該長成什麼樣。 ## 如果想參與這個方向，可以做什麼 - 加入開放認知（OpenCog）社群。它是個開源專案，有Google郵件討論組和GitHub倉庫，也有Slack。如果你對超圖表示、認知架構或者神經符號混合方法感興趣，可以直接在郵件列表裡介紹自己。他們正在做2.0版本的重寫，歡迎外部輸入。 - 關注聖彼得堡團隊的論文。阿列克謝·波塔波夫（Alexei Potapov）關於開放認知中認知模組和PyTorch計算圖互操作的論文，是理解神經符號系統怎麼真正落地的好入口。 - 如果要讀研究生，找一個願意帶這個方向研究的導師比找學校更重要。現在比格爾策1990年代讀博時容易得多，但核心問題是找到對認知架構或神經符號方向開放的人，而學校排名只是次要參考。 - 嘗試把深度學習模型當“神諭”來用，而不是當“理解者”來用。如果你在做NLP或視覺任務，試試用符號學習演算法生成候選結構，用大模型做機率評判，而不要把希望寄託在從模型的內部表示裡擠出一個乾淨的符號結構。 - 如果你在做醫療或生物學資料專案，想想有沒有辦法把資料貢獻到一個去中心化的、隱私保護的共享池裡。單個機構的資料量太小，跨機構整合才能讓AI真正幫上忙。 - 任何你正在做的AI專案，問一個問題：這東西是在幫人類，還是在把人變成某種公司目標函式里的燃料？如果答案是後者，即使沒有人有惡意，結果也可能是壞的。考慮一下能不能把它做成開源、去中心化、或者至少能為使用者自己掌控的形態。