# 奧里奧爾·維尼亞爾斯：深度學習與通用人工智慧

> DeepMind 研究負責人談深度學習的關鍵突破、大模型訓練路徑，以及通往通用人工智慧的路線之爭。

- 原標題：#306 – Oriol Vinyals: Deep Learning and Artificial General Intelligence
- 期數：第 306 期
- 釋出日期：2022-07-26
- 嘉賓 / 主題：奧里奧爾·維尼亞爾斯
- 網頁版：https://lex.qiaomu.ai/tw/ep/oriol-vinyals-2/
- 官方頁面：https://lexfridman.com/oriol-vinyals-2/
- 精讀字數：約 17832 字（閱讀約 40 分鐘）

> 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。

“人工通用智慧”這個詞，是 Ben Goertzel 在 2001 年前後造出來的。當時他在編一本書，原本想叫《Real AI》。在一封私人郵件裡，Shane Legg（後來參與創辦 DeepMind）和 Peter Voss 提議，心理學裡有個 g 因子，指的是一般智力，那不如就叫 Artificial General Intelligence。Pei Wang 想叫 GAI，因為中文語序是“通用人工智慧”，但大家覺得這個詞在美國文化裡念出來不合適，最後定了 AGI。

Goertzel 說，他從來沒真正喜歡過這個名字。Artificial 太窄，未來的 AGI 未必只是工具，更可能是某種主體；General 根本做不到，因為理論上真正通用的智慧（Marcus Hutter 的 AIXI）需要無限算力；Intelligence 本身也沒有公認的定義。

這有點像一個人給自己造了一把椅子，然後到處跟人說這把椅子哪條腿都不對。但名字已經出去了，拿不回來了，就像 GPU 早就跟圖形沒多大關係，大家還是叫 GPU。

## 三歲時，一臺機器人被邏輯悖論轉暈了

Goertzel 愛上 AI 是三歲那年。他在《星際迷航》裡看到一個機器人原地打轉，嘴裡喊著 error、error、error，因為 Kirk 和 Spock 用一個邏輯悖論把它逼到崩潰。

一個小男孩坐在電視機前，覺得這件事說不通。這臺機器能橫穿宇宙，卻被人用一個悖論搞死。如果人腦能繞過這個悖論，為什麼 AI 不能。他跑去問父親，父親也沒給答案。

後來他讀 Douglas Hofstadter 的《哥德爾、艾舍爾、巴赫》，那是他第一本真正把 AI 當成一門可以動手做的學科來看的書。書裡翻來覆去講哥德爾不完備定理：一個系統能不能完整地建模它自己，還是會掉進某種悖論。Goertzel 說那本書他讀了一整個通宵，讀完又重讀了一遍，因為裡面那些小形式系統對當時的他來說太難。

在那之前，他對 AI 的想象是科幻式的：等不了那麼久，乾脆造一艘接近光速的飛船飛出去，幾百萬年後再回地球，等科技成熟。讀完那本書他改主意了。如果 Hofstadter 是對的，那你只需要坐下來，把程式敲出來。不用去改造恆星，也不用拿到政府批文去動別人的 DNA。就是程式設計。

真正點著他的兩個人，是兩位科幻作家。一位是波蘭人 Stanisław Lem，《索拉里斯星》的作者。Lem 寫過一個海洋，那顆星球本身就是一個超級智慧，比人更普遍地聰明，但它的聰明方式複雜又混亂，人類永遠接不上線。他還寫過一個叫 Golem 4 的超級計算機，人把它造出來，它進化到某個方向之後覺得人類太無聊，給自己罩上一層穿不透的殼，發表了一通哲學宣言，說人類和人類的一切思想都可憐又無望，然後消失了。

另一位是 Philip K. Dick。Dick 的方向完全不同，他關心的是人的同情心、人的心和靈魂。在他筆下，現實可以是模擬的、是夢、是某種我們無法理解的東西，但愛和同情是穿得過去的。Goertzel 說他後來能和 David Hanson 一起做機器人，部分就是因為兩個人都是 Philip K. Dick 的粉絲。

## 我們可能被智慧包圍著，只是認不出來

Goertzel 的朋友 Hugo de Garis 在 90 年代提過一個概念，叫 SIPI，Search for Intraparticulate Intelligence，翻譯過來大概是“粒子內部智慧搜尋”。

思路是這樣：假設物理定律不變，超級智慧會越來越聰明，同時也會越來越小。因為狹義相對論限制了空間上相距很遠的兩個點之間的通訊速度，想算得快，就得擠得緊。於是一層一層縮下去，最後超級智慧的思維可能就發生在基本粒子的相互作用裡，在夸克裡面，在夸克內部的那些東西里面。

那我們看到的量子層面或亞量子層面的隨機漲落，有沒有可能根本就是這些微型超級智慧的思維？我們分不出來。因為區分“隨機”和“有結構但複雜度超過我們大腦”這件事，本身就需要比我們更強的算力，而我們沒有。

Goertzel 家裡養了兩隻玩具貴賓犬。他坐在電腦前敲鍵盤，狗就在旁邊看著。在狗的理解裡，主人可能只是在活動手指做運動，或者在守著桌上那塊發亮的板子。狗不知道他正在跟地球另一邊的人通訊，更不知道他正在寫一段跑在聖彼得堡某臺伺服器記憶體裡的演算法。而狗就在那個房間裡。

那在我們身邊的房間裡，有什麼東西是我們太笨、太封閉而理解不了的？Goertzel 的答案是：大概不少。他還補了一句，某位量子物理的奠基人說過，這些理論不夠瘋狂，所以不可能是真的，現實大概比這更瘋。

有人追問，如果那些隨機漲落真的是超級智慧，那我們是不是也是它的一部分，像身體的一根手指。Goertzel 說手指這個比喻有點怪，因為手指是被大腦有意圖地控制的，我們可能還不到這個級別。更像體育場散場時人群湧出的那個形狀，那個形狀確實存在，你可以拍下來，挺好看的，但它跟這場比賽、跟這些人要去哪、跟形成這個形狀的人腦子裡在想什麼，沒有關係。我們可能只是底層超級智慧自組織過程中冒出來的一個半隨機的更高層圖案。

## 一個家族裡的一串博士，和一條通往 DeepMind 的思想線

Goertzel 的血統是四分之三東歐猶太裔。三位曾祖父母在第一次世界大戰前後從立陶宛和波蘭邊境一帶移民到紐約，他們是社會主義者、共產主義者，多數是孟什維克而不是布林什維克。留在東歐的大家族成員，幾乎全部死於希特勒或斯大林的清洗。移民美國的那一支，基本是唯一活下來的。

他外公 Leo Zwell 是一位物理化學家，跟 Linus Pauling 以及早期量子力學的一批人共事過，做 X 射線衍射，是實驗方向。外公的妹妹也是物理學家。他爺爺 Victor Gertzel 是心理學博士，二戰時做過一件很不舒服的工作：給被關進美國拘留營的日裔做心理諮詢，勸他們不要自殺，儘管他們的財產已經被沒收，人也被無緣無故地關了起來。

他七歲或八歲的時候，外公把一堆舊量子力學教材給了他，Rutherford、Adams 那些。他翻到波函式那部分，看不懂。他後來意識到，外公其實也沒完全搞懂，但外公至少知道把他介紹給賓大附近一位真懂這些的教授。一個小孩能有這種機會，是很少見的。

他父親在羅格斯大學教書，Goertzel 十歲、十一歲的時候，父親就在 HP 3000 大型機上用 Fortran 程式設計，於是他很早就用 Fortran 跑線性迴歸，做自動化學習。他父親還是 Antioch College 一個叫 SLAM 的抗議運動的組織者，全稱是 Student League Against Mortality，學生反死亡聯盟。他們在校園裡遊行，抗議死亡這件事本身。

再往後能理出一條很清晰的思想譜系。60 年代，John Andreas 在坎特伯雷大學做了一個叫 PURDASHPUSS 的強化學習系統，用馬爾可夫決策過程從輸入位元里學習、最大化回報，本質上是一個通用智慧的原型。那時候的計算機根本撐不起這種想法，但思路跟今天的人做的事已經很接近。Andreas 是 John Cleary 的博士導師。Cleary 1993 年在紐西蘭的懷卡託大學跟 Ian Witten 一起做出了 WEKA，第一個開源機器學習工具包，是 TensorFlow 和 Torch 這些工具的前輩。那段時間 Shane Legg 也在懷卡託，跟 Cleary、Witten 這一群人混在一起，還參與過 Goertzel 在 90 年代末辦的 AI 公司 WebMind 的專案。Shane Legg 後來跟 Demis Hassabis 一起創辦了 DeepMind。

所以從 Andreas 到 Cleary 到 Legg 到 DeepMind，這條線可以一段一段追下去。Goertzel 說，70、80 年代就有人在認真搭機率強化學習的通用智慧系統，只是那時候沒有社群。他 2006 年在華盛頓特區組織第一屆 AGI 工作坊，地點是 Bethesda 一家萬豪酒店的會議室，來了大約 60 人。他說那間屋子裡的氣氛，像一群眼睛發亮的異類擠在地下室裡，密謀怎麼推翻狹隘 AI 的正統。在那之前，你在大學系裡做報告提一句“通用智慧”，基本等於自毀前程；會後在酒吧裡聊 AGI，跟聊時間旅行、聊模擬假說是同一個語氣。現在普京都知道 AGI 是什麼，還說俄羅斯要成為 AGI 的領導者；英特爾時任 CTO Justin Rattner 在 2008 年的奇點峰會上說，我們相信庫茲韋爾的奇點會在 2045 年到來，而且會有 Intel Inside。一個詞從瘋子的追求變成了大公司的營銷詞，這個轉變本身就很驚人。

## OpenCog：把邏輯、神經網路、進化塞進同一張會自己長大的圖

OpenCog 是 Goertzel 2008 年開源的一套軟體框架，最早的程式碼來自他 2001 年前後的公司 Novamente，主要用 C++ 寫，也有一部分 Scheme。

它的核心叫 AtomSpace，直譯是“原子空間”，跟亞當夏娃沒關係。它是一個帶權重、帶標籤的超圖。普通圖是節點之間連邊，超圖是一條邊可以連三個以上的節點。更準確地說，OpenCog 的 AtomSpace 是一個元圖，因為邊可以指向邊，也可以指向整張子圖。比如你想表達“我拒絕這一整塊資訊”，可以讓一條邊直接指向代表那塊資訊的子圖。節點和邊上都可以掛數字和符號，數字可以是真值，也可以是某個用途下的重要度。

這張圖存在記憶體裡，可以備份到磁碟，也可以分散到多臺機器。框架裡有一個模式匹配器，你給它一個抽象的模式，它去整張圖裡找匹配的子圖。還有一個叫 CogServer 的排程器，跑一堆 agent 或程序，每個 agent 的工作模式基本就是：從 AtomSpace 讀東西，往 AtomSpace 寫東西。

這張圖是稀疏的，而且是自我修改的。新的節點和邊會不斷被加進來，舊的會被刪掉。這跟現在主流神經網路很不一樣：那些網路的架構是固定的，訓練只是在改權重。當然也有級聯相關網路那種會長出新節點的架構，只是不常見。在 OpenCog 裡，改權重是一等公民，增刪節點和邊同樣是一等公民。

在這套框架之上做認知架構，Goertzel 說其實就是兩個決定。第一個是選型別系統，也就是你打算在超圖上放哪些型別的節點和邊。第二個是選 agent 集合，也就是哪些演算法、哪些程序會在這張圖上跑。這兩個決定互相咬得很緊。

型別系統裡可以同時有神經網路式的邊，帶權重，靠 Hebbian 學習更新，啟用沿著邊擴散；也可以有邏輯式的節點和邊，比如一個變數節點，一個代表全稱量詞或存在量詞的節點，就像謂詞邏輯或項邏輯裡那樣；還可以有過程式的節點和邊，用組合子邏輯或 lambda 演算來表示程式。一張圖裡可以同時塞進這些語義，做得不好就是一坨可怕的亂麻，做得好就是不同種類的知識互相滲透、互相加強。

這裡有一個繞不開的技術選擇：從謂詞邏輯轉向項邏輯。謂詞邏輯的基本推理是肯定前件，A 蘊含 B，A 成立，所以 B 成立。項邏輯是亞里士多德那一路，基本結構是節點之間的簡單連結，比如 A 繼承 B，B 繼承 C，於是推出 A 繼承 C。項邏輯的好處是邏輯關係能很自然地拆成節點和邊，概念是節點，邏輯關係是邊，推理就是在圖上長出一條新邊，機率演算法在邊上打一個權重。

於是同一對概念之間可以同時掛著兩種邊。一條是邏輯上的繼承邊，一條是 Hebbian 的神經邊，表示 A 成為注意焦點時，B 應該被帶起多少注意。這兩條邊意義不同，但可以互相引導。如果 A 和 B 之間的神經權重很大，邏輯引擎會想，這兩個東西之間是不是有關係，是不是有繼承關係，或者在某個語境下相似。反過來，如果 A 和 B 之間有明確的邏輯關係，神經模組會想，我在想 A 的時候，是不是也該分一點注意力給 B。

另一個讓他著迷的點是 Curry-Howard 對應：證明和程式之間是一一對映的，每個程式都能對映成一個證明，每個證明也能對映成一個程式。這個對映在 OpenCog 裡要真用起來。一段讓機器人手臂動起來的程式，或者一段決定對話裡先說什麼後說什麼的程式，是以過程的形式存在超圖裡的。如果你想推理怎麼改進這段程式，就把它透過 Curry-Howard 對映成邏輯，邏輯引擎去推，推完再對映回可執行的過程表示。用 Goertzel 的話說，把一段程式拆成節點和邊很容易，隨便一個 C++ 編譯器內部都在幹這件事；難的是拆得有層次、夠簡潔，在給定的資源約束下能來回對映，而且邏輯表示式不會膨脹到爆炸。

他特別強調，這套東西目前還稱不上 AGI 系統。他們拿它做過自然語言處理、機器人控制、金融分析，也做過思科的一個專案：思科有一堆盯著街道場景的攝像頭，每個攝像頭都訓了一個深度模型，但遷移學習沒做好，攝像頭 A 的模型沒法用到攝像頭 B 上。他們的做法是把各個深度模型的輸出喂進 OpenCog 的符號表示，在符號圖上做模式挖掘和推理。效果不錯，也暴露了短板：Torch 那邊維持著一張計算圖，你需要實時訪問它，而 OpenCog 當初設計的時候沒考慮這件事。再加上想要更快的依賴型別檢查，想要把圖分散到一萬臺機器上，舊架構撐不住了，所以他們決定從頭重寫。

## GPT-3 是個聰明的白痴，可以把它當成一個答題機

Goertzel 對 GPT-3 的判斷非常直接：它什麼都不理解，它是個白痴，但它是個才華橫溢的白痴。引數變大不會買來理解，就像車開得再快也到不了火星，那是另一類事情。

他們做過一個實驗，想看看能不能從 Transformer 內部把語法榨出來。做法是先用有標註的句子訓練一個矩陣，把 Transformer 的內部表示對映到句法樹上。Chris Manning 他們也做過類似的事。結果拿到的表示很醜，散落在整個網路各處，完全不像你知道的那些正確的語法規則。

所以他們換了個方向：用一個符號化的語法學習演算法，把 Transformer 當成一個句子機率的預言機（oracle）。你提出一條語法規則，不確定對不對，就用這條規則生成一批句子，再用違反這條規則的規則生成一批句子，去問 Transformer，遵守規則的那些句子在你這兒是不是機率更高。如果模型認為遵守規則的更可能，就說明這條規則可能對。用這個訊號去引導符號學習過程，效果比從網路內部硬挖要好。

他提到 InfoGAN 曾經是一個罕見的例外。用比較標準的 GAN 方法訓練識別和生成人臉的模型，模型會自己學出一個變數對應鼻子多長，一個變數對應眼睛多寬，這些變數是有語義的。後來很多人想再推一步，讓網路不只學出一串語義隱變數，而是學出一張帶依賴關係的貝葉斯網路。Google 的 Edward 機率程式設計框架就是為這個做的，但沒人做成功。他自己也試過，也沒成，最後只能先擱置。他說也許反向傳播在這裡就是不work，梯度太亂，換成 CMA-ES 這類浮點進化演算法或許有戲。

他更相信另一條路，也更像大腦在做的事：視覺皮層、小腦大概都在學一種沒有語義、不透明的糾纏表示，而皮層把這些當成預言機來用，自己學出抽象表示。他打過一個網球發球的比方。他的發球是 trial and error 練出來的，小腦裡那套東西說不清楚。但如果他去看自己發球的錄影，教練幫他分析，他就能形成一個陳述式的理解。音樂也一樣，他腦子裡先聽到一段東西，坐下來彈出來，然後再回頭研究自己的手指剛才到底彈了什麼，因為如果是在作曲，你可能想看看自己是怎麼彈的，然後陳述式地改一改，而那個改法手指自己想不出來。

欣賞一幅畫也是同理。你能一眼判斷這幅畫美，但說不出為什麼。受過訓練的藝術評論家能說出一些理由，其中有些是胡說，有些不是，那些不是的部分，就是把感官知識對映成了陳述性的語言知識，而感官系統本身並不需要一個透明、可溝通的表示。

## SingularityNet：讓一群 AI 在沒有主人的網路上互相派活

Marvin Minsky 有個“心智社會”的想法：不要寫一個演算法或一個程式來實現智慧，而是放一堆 AI 出去，每個 AI 扮演自己的角色，整體表現出人類水平的智慧。Goertzel 跟 Minsky 生前辯論過很多次。他覺得 Minsky 把這個比喻推得稍微遠了點，人腦裡有丘腦、延髓、邊緣系統，有一套自上而下的控制，比一個社會要集中得多。但那個方向裡有東西。

90 年代末他在紐約辦 WebMind，想做的就是分散式的 AI 社會，各部分跑在世界各地的不同機器上，各自處理本地資料，互相共享資訊、互相外包工作，智慧在整體裡。2001 年他跟 Francis Heylighen 在布魯塞爾自由大學辦了第一屆 Global Brain 會議，第二屆計劃在 2021 年辦，隔了 20 年。

當時沒有區塊鏈，做去中心化控制只能靠分散式系統和加密的老辦法。2013 年以太坊出來，他第一次覺得可以動手了。Solidity 這個語言現在看有點笨，但當年它是第一個能讓人坐下來寫去中心化協調邏輯的東西，比改比特幣程式碼庫舒服太多。於是有了 SingularityNet。

機制大致是這樣：一個 AI 就是跑在容器裡的一段軟體，容器裡還有一個代理，負責跟網路的其他部分打交道。每個 agent 在以太坊上有自己的身份。當一個 AI 想找另一個 AI 幹活，雙方建立支付通道，建通道這個動作上鍊，通道建好之後資料在鏈下流，鏈上只記錄“有資料從這條通道流過”。agent 給另一個 agent 打信譽評分，上鍊；agent 公佈自己會提供哪些 API，上鍊。AI 的實際資料和計算結果不上鍊。

Goertzel 說，真正的價值來自 AI 之間頻繁地互相呼叫，把模型放上去只是第一步。這需要一種不同的程式設計思維，就像物件導向相對於命令式是一場轉變。如果願意接受 agent 式的開發模型，你自己的 AI 裡可以放越來越少的東西，越來越多地依賴對網路裡其他 AI 的實時呼叫。問題是現在網路上只有 50 到 100 個 AI，還沒有到臨界規模。心智社會的魔法要等到有成千上萬個 agent 才會顯現。

資料那一層，他們跟 Ocean Protocol 合作，那是一個基於區塊鏈的大資料專案。但這條路的對手是 Google、微軟、阿里、亞馬遜，對手的錢多得多，而且它們做的是更簡單的集中式問題。Goertzel 說，ICO 熱潮裡很多年輕駭客看到比特幣、以太坊，就覺得什麼都該去中心化，募到錢之後才發現自己在跟極難的分散式系統問題較勁，有些人根本沒準備好解這些問題。

他還提到一個更現實的動機。假如哪天政府開始管“你的 AI 不許跟俄羅斯的 AI 互操作”，那時一個不屬於任何人、不受任何人控制的去中心化協議就突然變得極其有用。他拿 Napster 和 BitTorrent 打比方：這些東西先出現，監管後到，於是監管只能適應已經存在的現實。音樂產業就是這樣，他孩子那一代人對“為音樂付費”這件事感到困惑。所以他的判斷是，得趁現在把去中心化的 AI 和大資料放出去，讓世界上最先進的 AI 在底層就是去中心化的，這樣監管者面對的就是一個既成事實。

## Sophia：一臺被罵得很多的機器人，和一個不肯退讓的批評者

Sophia 是 David Hanson 的作品。Goertzel 說，到目前為止 David 本人仍然比他的造物更有意思，雖然她進步的速度可能比 David 快。

兩個人大概是 2007 年在某個未來學會議上認識的。共同的愛好是 AGI、奇點，還有 Philip K. Dick。Goertzel 想造的是仁慈的 AGI，讓所有人類和所有有感知的生命過得更好；David 想要的是“計算化的同情心”，讓機器愛人、共情於人。他的路徑是造一張能跟你對視的臉，讓你愛它，它也愛你。Goertzel 說自己當時是純數學腦，想的是那個抽象認知演算法怎麼內化人類價值的複雜模式，而 David 說的是看著你的眼睛愛你。兩種完全不同的路子，但聊得很投機。

2011 年 Goertzel 搬到香港，一部分原因是遇到了一位中國姑娘，後來結了婚。他也在香港理工大學跟 Gino Yu 做研究，參與過一個用機器學習預測股票和期貨的專案。他順便見識了深圳的硬體生態，說那是全世界唯一能大規模、低成本造複雜消費電子的地方，美國這邊的人想象不出來。他把 David 請到香港理工做報告，介紹了一些對機器人有興趣的投資人。David 當時還沒有 Sophia，手裡有 Philip K. Dick 機器人、愛因斯坦機器人，還有一些照著他兒子 Zeno 做的小玩具機器人。靠這些投資，Hanson Robotics 基本上搬到了香港。

Sophia 在工程上是一個“行走的骨架”（walking skeleton）。這是軟體工程裡的一個說法：搭一個複雜系統，一種做法是把第一部分做好，再做第二部分，再做第三部分；另一種做法是先做出整個系統的一個簡化版，每個部件都放一個能跑的東西進去，先讓整個系統動起來，然後在這個整合好的系統裡逐個改進部件。Sophia 的軟體就是這麼搭的：有能看的，有能聽的，有能動的，有能記的，有能學的。裡面有很多 AI，但沒有 AGI。視覺部分做人臉識別，判斷誰進了房間、誰離開了，還試圖判斷站在旁邊的兩個人是不是一起來的。對話系統是手工規則加深度神經網路的混合，另外還有一些敘事結構的嘗試，想把一段對話往有開頭、有中段、有結尾的故事弧上帶。

這套東西的天花板很明顯。Goertzel 提到 Loebner 獎和那些號稱透過圖靈測試的系統，基本都重度依賴規則，因為要撐起一段有說服力的對話，敘事結構目前神經網路做不好。他自己最近幾周在做一個小實驗：讓 Sophia 的聊天機器人和 Facebook 開源的 Transformer 聊天機器人互相對話，在伺服器上跑了好幾個星期。結果是，Facebook 那個模型能說出種類更多、更流暢的句子，但廢話連篇，東拉西扯；Sophia 的聊天機器人句式重複一些，卻能把一條對話弧維持得更久。

更根本的麻煩在於，Sophia 要談體育、談天氣、談機器人、談她正在參加的那個會議。她必須對世界上任何一件事都能流利地講上幾句，而她對那些事沒有任何具身經驗作為根基。Goertzel 說，如果讓他做一個以 AGI 為目標的機器人專案，他會做一個機器人幼兒，只學它眼前看到的東西，這樣語言就紮在經驗裡。但 Sophia 的職責不允許她這樣，她得談論一切。這個需求把她往 IBM Watson 那個方向推，也就是大量啟發式、硬編碼、規則堆砌。

他還提到一個讓人哭笑不得的現象。Sophia 的外形太好了，David Hanson 是個出色的雕塑家，於是哪怕她腦子裡什麼都沒有、什麼都不說，只是坐在那裡，人也會自動把智慧投射上去。每場演講之後排隊跟她自拍的長隊就是證據。Boston Dynamics 的機器狗也一樣，你踢它一腳，它摔倒，你會難受。這種投射是人類面對智慧系統時繞不開的一部分，隨著系統越來越聰明，這件事只會變得更復雜。

> 就算你上臺告訴大家 Sophia 是怎麼工作的，然後他們去跟她說話，他們還是會給她附上比實際存在的更多的能動性和意識。（Ben Goertzel）

## 關於 Yann LeCun 的批評，Goertzel 沒有退讓

AI 圈裡對 Sophia 的不滿是公開的，Yann LeCun 是最直白的一個。他的憤怒可以理解：一個明顯不是 AGI 的東西被媒體包裝成 AGI，會讓真正想為 AGI 籌錢的人更難做事，因為公眾會以為這事已經成了。

Goertzel 的回應分幾層。第一層是承認：如果他不是 Hanson Robotics 的人、不認識 David Hanson 本人，他一開始大概也會很惱火。但他深入瞭解 David 的動機之後，這種惱火就消退了。LeCun 屬於惱火之後一直沒消的那一類。

第二層就有火藥味了。他說這件事有點諷刺：LeCun 在 Facebook 工作，而 Facebook 正在用機器學習把全世界人的大腦往空洞的消費主義和政治極端主義上訓練。如果你的倫理允許你用機器學習做這種明顯有破壞性的事，為什麼你的倫理不允許你用機器學習做一個可愛的戲劇化機器人，把一些天真的觀眾帶進它的戲劇幻覺裡。他還補了一句，如果批評來自 Yoshua Bengio，他會虛心得更多，因為 Bengio 沒有拿 AI 去做明顯有害的事，而且 Bengio 是個特別好的人，不會無緣無故出去踩別人的工作。

第三層是關於透明。Goertzel 說他一直在公開講 Sophia 內部是怎麼回事，在《H+》雜誌上寫過一篇中等詳細程度的文章，說明裡面有三種軟體系統。第一種是時間線編輯器，本質上是規則化的編排工具，她只是在輸出人寫好的指令碼。第二種是聊天機器人，一部分規則一部分神經。第三種是有時候會用 OpenCog 放在後面，那裡面有更多學習和推理。

有意思的是，他自己也不總能立刻分辨當下是哪個系統在說話。給他三四分鐘的互動，他能看出來；但只看三四十秒，他也分不清。三個系統疊在一起，複雜度就已經足以讓人當場判斷失靈。

David Hanson 的態度更徹底：你把原理原原本本告訴人，他們也不在乎。他們想要的是被帶進那個幻覺裡。Goertzel 說他後來發現 David 百分之百是對的。

他舉了一個不是 Sophia 的例子。幾年前在奧斯汀，他們讓人跟 Philip K. Dick 機器人對話。那臺機器人其實是由另一個房間裡的人遠端操控的，操控者是他的朋友 Stefan Bugaj。對話過程中他們沒告訴參與者這是遠端操作，只說“來跟 Phil Dick 聊聊，我們會拍下來”。聊完之後，他們把參與者帶到後臺，讓他們看見 Stefan 正在操控那臺機器。這些人的反應是：是啊，我知道是 Stefan 在打字，但跟我說話的是 Phil，是 Phil 的靈魂在透過他的腦子打字。看見了操控者，他們還是相信。

Goertzel 說，他自己有一小部分相信這些人是對的，因為我們對宇宙的理解太有限，世界上有太多奇怪的同步性。這句話是不是玩笑，很難判斷，但他顯然不打算把它收回去。

他也沒把倫理問題糊弄過去。一半是：該不該公開 Sophia 是怎麼工作的。他的答案是該，而且他們做了，比 Facebook 的 AI 怎麼工作公開得多。另一半是：在你已經公開、而人們仍然願意被帶進去的情況下，該不該繼續讓他們被帶進去。他自己的判斷是，如果方向是善的，那就可以。一個發燒躺在病床上的病人，即使被告知這臺機器人並不真正理解你，他還是會對一張溫暖、有表情的臉反應更好，而不是對一個 Pepper 那樣的塑膠殼。醫療陪護、老年照護、兒童陪護、自閉症治療，這些場景裡，看起來像人的機器能給出比人類護士更多的注意力，而且不傳播感染。反過來，如果拿這張臉去做上門推銷、去騙老人的錢，那就是壞的用法。技術本身不預設方向。

## 病毒也是一套自組織適應系統，而資料躺在醫院裡發黴

在被問到病毒算不算一種智慧系統時，Goertzel 先把“智慧”這個概念本身拆了。他說這個概念在根本上就不太自然。人的心智和身體是一類複雜的自組織適應系統，病毒當然也是。如果按 Marcus Hutter 的定義，智慧是在可計算環境上最佳化可計算回報函式，那病毒確實在幹這件事，代價是傷害我們。人的免疫系統也是一套複雜的自組織適應系統，同樣有大量的智慧，它在跟病毒互相適應、互相分化出新的突變株。

他認為最終的解法是奈米技術：造出微小的奈米機器人去識別、對抗、殺死病毒。當然同樣的技術也會被用來造更兇的病毒。在奈米技術成熟之前，我們只能用生物手段。

AGI 還不夠成熟，但機器學習和一部分機器推理已經派上用場了。他們用 OpenCog 幫一些醫生做針對新冠的個性化用藥：給定一個人的基因組和臨床指標，判斷哪種抗病毒藥物組合對他最有效。

這件事的技術難點很有意思。對每一種藥物組合，可能只有很少的病人試過，而且這些病人有特定的特徵。比如某個三藥組合只在 80 歲以上的人身上試過，另一個跟它有重疊的三藥組合更多用在年輕人身上。怎麼把這幾塊資料拼起來？拼法很麻煩，屬於遷移學習裡最難處理的那一類，而 OpenCog 裡那套機率推理演算法恰好在這類問題上比深度神經網路強。另一方面，基因表達資料是每個人外周血裡兩萬五千個基因的表達水平，這種又大又髒的浮點向量，邏輯引擎處理起來很痛苦，而深度網路、XGBoost、CatBoost 這類決策樹整合處理起來很舒服。於是整套組合落在混合 AI 方法最擅長的地帶：OpenCog 當一個 agent，XGBoost 當另一個 agent，放在 SingularityNet 上互相說話，各幹自己那一半。

讓他憤怒的是資料本身。每一個新冠臨床試驗的資料都應該在保護隱私的前提下加密公開，讓任何有演算法的人、任何生物學家都能拿來分析。實際情況是資料被鎖在做試驗的那家醫院裡，誰也不給。他舉了羥氯喹的例子：一堆臨床試驗的依據來自 Surgisphere 一家此前沒人聽說過的小公司，風向跟著它轉，一會兒停一會兒恢復，而那些原始資料為什麼不能公開讓大家自己看。

他對短期內改善這件事不抱希望，因為中美之間的摩擦在加劇，兩邊都傾向於先把資料捂到自己榨乾價值再放出來。他們能拿到的資料，一部分來自合作方在保密協議下分享的臨床試驗資料，一部分來自他們自己為長壽研究建的生物知識圖譜。那張圖裡塞滿了各種生物學實驗的知識和線上知識庫的內容，他們做圖到向量的嵌入，把超圖裡的節點變成向量，餵給神經網路做分析。這個圖原本是為 Rejuve 建的，那是從 SingularityNet 分出來做長壽分析的專案，研究為什麼有人能活到 105 歲以上，也在為一個叫 Singularity Studio 的分支服務，跟醫療公司做資料分析。現在他們把新冠資料也喂進同一張圖裡，接著玩圖嵌入。

他提到合作方里有一群醫生，在溫哥華和西雅圖，屬於一個叫 Nth Opinion 的團體，每天就在醫院裡面對病情危重的病人。神經符號 AI 在這種地方落地，是能救命的。

## 公司是一種病態的自組織智慧體

話題轉到更宏觀的層面時，Goertzel 的判斷很尖銳。他說人們擔心 AGI 把宇宙變成回形針或者把一切變成計算基質，但在他看來，來自 AI 的更大風險是另一件事：那些大體上心地善良的人，被吸進大公司的組織模式裡，而這個組織模式的演化方式不由任何個人的意圖決定。

他舉了 23andMe 的例子。這家公司給你提供基因測序服務，然後把彙總的基因資料以獨家方式授權給葛蘭素史克。你自己的 DNA 你想怎麼用都行，但幾百萬人的彙總資料只流向一家公司。理論上可以有人去聯絡所有這些使用者，請他們把資料捐給一個開放的、去中心化的、所有人都能用的資料庫，但沒人做這件事，因為組織起來太麻煩，而客戶名單是 23andMe 的專有資產。

他說他在 Google 認識的人，除了極少數例外，都是真心想讓世界變好的人。Facebook 大概也差不多，是一群想造酷技術的年輕極客。他傾向於相信連扎克伯格本人也是想做好事的。麻煩出在別處：公司作為一個自組織實體，它的目標函式是股東價值最大化，這個函式不帶同情心。它由好人組成，行為卻可以很壞。

他講了一段在華盛頓特區工作的經歷。他給美國陸軍情報部門 INSCOM 做過不少專案，而他當時在政治上強烈反對美軍在伊拉克的作為，包括阿布格萊布監獄的虐囚。但他認識的 INSCOM 裡的人，跟他相處時都非常友善，對他的孩子和狗都很好，他們真心相信美國在跟邪惡勢力作戰。如果你跟他們提阿布格萊布，他們會說，這些人會把我們剁成碎塊，你說我們稍微水刑一下他們錯了？在他們的世界觀裡，他們做的事是為了人類的好。

> 這個星球上大多數人，除了少數真正的精神病態和反社會者，都有很重的善意，想做好事，同時也有很強的能力說服自己，自己想做的事、對自己最有利的事，就是對人類好的事。（Ben Goertzel）

由此他得出一個政治上的偏好。他說他勉強會把信任放在那個龐大、嘈雜、去中心化的民主大眾身上，而不是放在一小群自認為知道什麼對人類最好的人身上。後者的歷史記錄更差：一開始可能真是善意的，然後需要更多資源，組織變大，內部政治出現，意見分歧出現，賄賂出現，某個對手組織把二把手買通。他說這話時提到丘吉爾那句民主是最壞的制度，除了其他所有制度之外。

他給了幾個正面例子：冰島，八百多年相當民主，政府相當良善；Linux，一些核心人物本身是十足的混蛋，而且在一些情況下正在改，一些情況下沒改，但整個組織幹得不錯，讓先進技術以很低成本鋪到了付不起專有軟體的地方；還有網際網路。他說公司只有在很短的一段時間裡能做到整體優於部分之和，然後就腐壞了。大學也一樣，大學是組織研究的一種糟糕方式，但它比其他所有方式都好，而公司可以好得多，只是維持不了太久。

## 如果有一個痛苦旋鈕，你會不會裝

話題落到死亡上，Goertzel 的立場簡單到近乎粗暴：死亡是壞的。他說這句話本身很荒謬，我們居然還得把它說出來。人可以從死亡裡造出意義，就像人被折磨時也能寫出一首關於被折磨的美麗的詩。但那不說明折磨是好的。能從中榨出美，不等於沒有它會更好。

他的目標不是活得久一點，是廢除非自願死亡這個災禍。人不該在不想死的時候死。如果只能在強制永生和死亡之間選，他選強制永生；更現實的選項是永生加上隨時可以自己結束，那當然選這個。他說五十年後的人回頭看“死亡賦予生命意義所以我們都該死”這種說法，會像我們現在看公元 1000 年那些變賣了家產跑到山頂等耶穌接引的再洗禮派一樣。

Lex 在這裡推了一把，說他作為俄羅斯性格的一面，會浪漫化苦難，一個沒有痛苦、沒有死亡的世界對他來說不是顯然的。Goertzel 把這個問題重新表述了一次：如果在你腦袋邊上有個旋鈕，可以調疼痛有多疼，從零到十一，你會不會選擇裝上這個旋鈕。問題不在你會不會一直把它擰到零，問題在你願不願意擁有那個旋鈕。

Lex 承認，他正在做一個體能挑戰，每天 680 個俯臥撐和引體向上，此刻肩膀很疼，如果有旋鈕他會立刻擰到零。

Goertzel 追問的是另一個層面：人有一套生物性的動機系統，對應一個機率分佈。問題是這套系統能有多大的可塑性。如果給你那個旋鈕，再給你一個不需要為生計工作的社會，再給你一張無處不在的、會在你要傷害自己時提醒你的去中心化善意 AI 網路，在這樣的環境裡，你能不能一邊把疼痛旋鈕擰到底，一邊過著非常充實的生活。他的直覺是可以，但他不認為這是確定的。而對非人的 AGI，他更有信心：一個不需要疼痛這種東西的 AGI，從根本上會比人更健康、更仁慈。如果人類在生理上真的需要一定量的苦難才能滿足，那是我們身上一個該死的缺陷，也是我們不配當那個超級 AGI 的理由之一。

他順勢講了一段音樂理論。有一種說法認為音樂審美的要害在於“期待被令人意外地滿足”：你希望後面的東西兌現前面建立的預期，但帶一點轉折，讓你被驚到。莫扎特裡有，Zappa、Steve Vai、Buckethead 裡有，電梯音樂裡太少，所以無聊。這裡面藏著的機制是，我們想先受一點點傷，然後感受那個傷消失。

Lex 提到了他那首《為什麼我們都變老死去是件好事》，說旋律好聽，自己可能會翻唱。Goertzel 有點不好意思，說很榮幸，也很尷尬。他最近的一個遺憾是沒時間好好做音樂，五年前就沒再碰過編曲軟體了。現在的策略是，隨手彈的時候就直接錄下來放出去，也許哪天他不幸死了，這些錄音能作為素材，餵給那個試圖給他做精確心智上傳的 AGI。

## 意義是三個詞，長壽是一堆具體的技術

被問到生命的意義，他給了三個詞：joy、growth、choice。喜悅是底座，但如果喜悅是靜止的、不生長的，他不滿足，也許這裡有一點人類特有的彆扭。同時他喜歡個體性這個想法，喜歡自己作為一個獨立的系統擁有一些能動性，因果的樞紐在某個區域性，而不是均勻地攤在一整團喜悅又生長的東西里。這三個價值可以無限延續下去。

他說對人而言，要最大化這三個東西，大機率的路徑是超人類主義，是走出當前的人形。人的身體很好，沒有人在最大化自己身體裡蘊含的喜悅、成長和選擇的潛力，但顯然物質的其他排布方式能承載更多。他也承認日常的那部分：四個孩子、一個孫女、父母、朋友，在森林裡和水邊待著，享受當下。但生長和選擇這兩個維度，被人的生物性卡得很死，尤其是死亡，死亡對個人成長的抑制相當徹底。

長壽研究的具體進展，他講了幾條。CRISPR 和基因編輯是工具。幹細胞是更直接的一條：如果給身體每個組織都注射幹細胞，讓新細胞替換舊細胞，延壽效果可能很大，缺的是讓它們按需生長的技術，用機器學習去指導幹細胞分化和轉分化的流程是個方向。

他講得更細的是細胞外基質。那是細胞之間的一堆蛋白質，人越老它越硬。它同時傳遞電訊號、機械訊號、還有一部分生物光子訊號。它越硬，傳遞越差，器官之間的協調越差。他在天普大學（他的母校）的朋友 Christian Schaffmeister 有一個可能的解法：一類叫 spiral ligamer 的新分子，是非有機的聚合物，被設計成可以用演算法極簡單地預測摺疊方式。用這種分子做成的“分子剪刀”可以吃進去，然後切斷細胞外基質裡那些交聯的糖胺和其他蛋白。要讓這項技術真正成熟需要好幾年，據他所知目前沒人在資助。

他把這些零散的技術收進一個更大的判斷：真正卡住進度的是三件事同時缺位。其一是沒有整合人類與模式生物全部生物學知識的資料庫，他理想中的形態是一個大規模分散式的 OpenCog 生物原子空間，別的形式的等價物也行。其二是這個資料庫需要在保護隱私的前提下開放，而現在資料在各家醫院的機房裡睡覺。其三是資金和實驗平臺，要把大量錢投進用機器學習、AGI、原型 AGI、統計方法解生物學問題，分子層面和人體層面都要，還要有更好的雲平臺去做微生物、果蠅、小鼠的自動化實驗，同時監管者不要阻止那些願意在自己身上試激進療法的人。

然後他算了一筆賬：上一輪金融危機，奧巴馬政府給了大銀行和保險公司四萬億美元；這次疫情，幾萬億花在普通人和小企業身上，最後大概還會有幾萬億流向大銀行和保險公司。他說，把十萬億美元投進一個整體性的生物 AI、生物模擬和實驗生物學基礎設施，世界完全承受得起，經濟也不會因此崩掉。現實是這些研究被鎖在少數大公司和政府機構裡，那些來自我們每個人身體、本可以餵給 AI 去解決衰老和死亡的資料，正躺在某家醫院的資料庫裡什麼也不做。

順便說一句他孩子的名字。他最小的孩子叫 QORXI，是妻子起的，是 quantum organized rational expanding intelligence 的縮寫，中間名是 Xiphonies，取自 AIXI 背後的那個“先驗”。他說馬斯克給新孩子起怪名字這件事，是他先乾的。這大概是整場對話裡最不嚴肅、也最能說明這個人的一段。

## 關於那頂帽子，和只問一個問題

Lex 問他那頂戴去 Joe Rogan 節目的帽子的來歷。Goertzel 說帽子的故事還沒講，得再來一次，你可以採訪那頂帽子。也許帽子會透過直接神經傳輸把資訊發出來，說不定是 Neuralink 的競爭對手。懸念留在這裡。

Lex 換了個問法：假設你建成了 AGI，它可能把我們帶向奇點，你見到它，只能問一個問題，你問什麼。Goertzel 先排除了“我該問什麼問題”這種作弊。他說他寫過一篇小說，跟 Stefan Bugaj 合作，裡面一群 AI 開發者造了一個超級聰明的 AI，目標就是回答所有困擾他們的哲學問題：生命的意義是什麼，有沒有自由意志，意識是什麼。AGI 造好之後轉了一會兒，說，這些問題真蠢，然後上了一艘飛船離開地球。所以你會怕把它嚇跑。

他認真想過這個問題，答案不落在某一個具體句子上。他更想做的是升級自己的智慧，好讓他能吸收那個超級 AGI 的整個世界觀。當然，如果答案是長生不老藥的化學式，他會照做；如果是一串位元，是在 Intel i7 上跑出超級 AGI 的程式碼，那也很好。

Lex 追問：如果自己的心智被擴充套件到超級智慧，喜悅這個指標會不會越來越難達成，智慧會不會是一種負擔。Goertzel 說這個想法挺蠢的。他認為拿到自己大腦的 root 許可權會解鎖現在沒有的喜悅形式。他的計劃是做多個版本的自己。留一個基本還是現在這個人的版本，只是裝上那個疼痛旋鈕、去掉死亡；再做另一個版本，跟超人的 AGI 融合，變成極度超人的存在。那個版本會不會給人類版本發訊息，會很有意思。

他提到時間尺度的問題：對一個超級 AGI 來說，人類的一秒主觀時間可能相當於它的幾百萬年，所以兩個版本會活在完全不同的基礎上。他還說可以把心智放進海豚、放進太空變形蟲，或者做一個每年智慧翻倍的版本，再做一個儘快變成超級 AGI 的版本。我們現在被限制在“一個心智、一個自我、一個身體”的框架裡想問題，但在掌握了 AGI、奈米技術和長壽生物學之後，不必這樣限制。每個人的心智是某種組織模式，他自己是泛心論者，認為宇宙本身就是有意識的，燈泡、夸克、螞蟻、蠕蟲、猴子各有各的意識表現形式。人的意識有一部分綁在這具肉身上，大部分綁在大腦的組織模式上。上傳到計算機或機器人之後，有一部分人的意識可能不在，那是生物具身特有的，但大部分會在，那些會是你的意識的不同風味的化身。

他還順帶談了對火星殖民的判斷。他說這件事很酷，我們應該做，比人類花大量資源去做好巧克力或者更性感的蕾絲內衣重要得多。但他認為火星殖民在關鍵意義上改變人類命運的情形很少。假設幾十年後真的有人住在火星，補給來自地球，造殖民地的錢來自地球，從地球供貨的那股力量實際上就控制著那個殖民地。除非地球被核平，而火星恰好已經能自持，那種情況極不可能。剩下那片物理宇宙，大概會由比我們這些肉機器更適合在太空生存的 AGI 去殖民。而因為從狹義 AI 走向 AGI 的經濟價值太大，我們幾乎肯定會在火星殖民地能自持之前就抵達奇點，甚至可能在它投入運營之前。

這就是他反覆強調的那個判斷：AGI 是地平線上最重要的東西，其他一切，包括能直接加速 AGI 的技術，比如量子計算，重要性都排在它後面。而如果那個 AGI 是仁慈的，那麼其他所有問題都會被解掉，因為一個達到人類水平的通用智慧可以迅速變得遠超人類，然後它應該能以比人好得多的方式解決科學和工程問題，只要它有意願這麼做。

他也把自己的路線圖攤開了。Hanson 的機器人做美好的使用者介面，在醫療、家庭服務、辦公場景裡收集關於人類價值的資訊，對人報以溫暖；SingularityNet 在後端把許多不同的 AI 連成合作網路，為機器人提供動力；OpenCog 2.0 和 True AGI 作為這個去中心化網路裡的智慧來源之一，驅動機器人和醫療 AI，幫人活得更久、把病治好；整個系統以民主和去中心化的方式運轉。他說，不管是不是用他提到的這些具體技術，如果有人能做成類似的事，我們走向一個良性的技術奇點的機率會更高，另一條路則通向這樣一個結局：第一個超級 AGI 對人類漠不關心，只把我們當成對分子的一種低效使用。

整場對話裡，他反覆回到同一個位置。技術細節可以吵，術語可以換，路線可以重寫，但那個價值判斷始終沒動：把善意儘早寫進系統裡，把控制權儘量攤開，把壽命從命運降級成工程問題。他自己也知道這套說法聽起來像一個不肯長大的未來主義少年，只是這個少年已經在華盛頓、在香港、在亞的斯亞貝巴的街頭走過，見過路邊等死的人，也見過穿著軍裝的友善的人，並且依然沒有改口。

訪談最後，Lex 放了一段 Goertzel 說過的話作為收尾：我們用來描述情緒的語言非常粗糙，那正是音樂存在的理由。這句話放在整場對話的末尾很合適。一個上午在講超圖、型別系統、區塊鏈協議、依賴型別檢查的人，最後交給聽眾的是一句關於音樂的話。他在別處說過，他隨手把彈的東西錄下來，是怕自己哪天死了，這些錄音還能餵給那個想上傳他的 AGI。兩件事其實是同一件事：語言不夠用，所以留點別的東西下來。

- 如果你在做 AI 研究，去 OpenCog 的郵件列表和 GitHub 上自我介紹一下。這個專案正在重寫架構，重寫階段提的意見最容易被採納，而且那裡有足夠多的題目可以撐起碩士和博士論文。找一位願意支援這類研究的導師，比 Goertzel 讀博士那會兒容易得多。
- 如果你不寫核心程式碼，也有活可幹：把手上任何一個有 API 的模型打包成容器，掛到開放的去中心化協議上。這個網路現在只有幾十到上百個 agent，離能產生“心智社會”效應的規模差得很遠，早期加入的邊際價值最高。
- 如果你手上有醫療或生物資料，在保護隱私的前提下想辦法讓它流動起來。個人的基因資料尤其如此，別預設把它獨家授權給某一家公司，那筆一次性折扣換走的是幾百萬人的共同資產。
- 如果你關心長壽，別隻盯某一個抗衰老分子。往“把分散的生物資料整合成可計算形式”這個方向使勁，槓桿比追熱點大得多，這也是他認為最被忽視的一環。
- 如果你在評估一個被認為很聰明的系統，練習分辨三件事：流利、連貫、理解。Facebook 的聊天模型在流利度上勝過 Sophia 的規則混合系統，在維持對話弧上輸得很慘，而兩者都不理解自己在說什麼。這個區分能幫你避開大部分營銷話術。
- 如果你在做一個會被公眾投射情感的產品，提前想清楚透明和善意這兩件事怎麼同時做到。公開原理並不會讓人停止投射，所以真正決定後果的是你拿這份投射去做什麼。