# 迪利普·喬治：受大腦啟發的人工智慧 > 從大腦皮層結構出發探討機器學習，談當前深度學習的不足與更接近人腦的智慧架構。 - 原標題：#115 – Dileep George: Brain-Inspired AI - 期數：第 115 期 - 釋出日期：2020-08-14 - 嘉賓 / 主題：迪利普·喬治：類腦人工智慧 - 網頁版：https://lex.qiaomu.ai/tw/ep/dileep-george/ - 官方頁面：https://lexfridman.com/dileep-george/ - 精讀字數：約 7923 字（閱讀約 18 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 Dileep George 說，他可以讓一個剛學會認字母的五歲小孩去看任何一個網站新生成的驗證碼。小孩能讀出來。沒見過那個網站的樣本，沒見過那種字型，沒做過任何訓練。 而今天最好的深度學習系統做不到這件事。 這就是他在採訪裡反覆繞回來的那個點：人類感知的能力，和我們現在造出來的東西，差距不在引數量上，在結構上。他是 Vicarious 的聯合創始人，之前和 Jeff Hawkins 一起創辦了 Numenta，一路從層級時間記憶（HTM）走到遞迴皮層網路（RCN），再到皮層微迴路。這條線二十年來只做一件事：把神經科學的發現翻譯成能跑的計算模型。 ## 用電晶體造不出微處理器 訪談一開場，Lex 問了個直白的問題：要造大腦，是不是得先理解大腦？ George 的回答是肯定的，然後他拿 Blue Brain 專案開刀。Henry Markram 那個專案的思路是，把神經科學實驗裡拿到的細節，越來越多的神經元、越來越細的生物物理引數，全部灌進一個巨大的模擬裡，然後開啟開關看會發生什麼。 George 說這行不通。理由很樸素：當模擬結果和你預期的不一樣時，你怎麼辦？你只能繼續加細節。你怎麼 debug 一個你根本不知道設計意圖的系統？ > 除非你對這個系統該怎麼工作、各個部件該怎麼配合、各自貢獻什麼，有一個理論，否則你在功能層面上根本造不出它。（Dileep George） 他給了一個類比，這個類比的分量超出它聽起來的樣子。 今天單個神經元的模型已經相當精密了。Hodgkin-Huxley 模型描述訊號在樹突上怎麼傳播，鈣通道、各種受體開啟關閉對 spike 輸出的影響，這些都有成熟的電學建模。你可以說，單個神經元的建模已經做到了 99% 的準確度。 但這相當於什麼？相當於你有了一個非常精確的電晶體模型。 然後你說，好，我按實驗觀測到的統計規律把這些電晶體連起來，跑模擬，看能不能得到一個微處理器。 不可能。要造微處理器，你得先懂布林邏輯，懂閘電路怎麼組合出加法器、暫存器、控制單元，然後才談得上用電晶體去實現這些門。跳過這一層，你有再精確的電晶體模型也沒用。 訪談裡提到一篇論文，專門驗證這個直覺。一群研究者用神經科學全套方法論去研究一個已知的微處理器，看能不能反推出它的工作原理。結論是：按那套方法，連布林邏輯都推不出來。George 補充說，其實按那套方法，連電氣工程師都理解不了微處理器。這跟貶低神經科學無關，實驗神經科學確實發現了大量有價值的東西，問題在於這些發現必須被放進一個計算框架裡才能拼起來。 ## 皮層裡，往回走的線比往前走的線多 那大腦裡什麼是真正值得抄的？ George 從視覺皮層講起。視覺佔據了大腦皮層非常大的一塊，而這塊皮層不是一條前饋的流水線。反饋連線的數量遠超前饋連線。這一點對熟悉深度學習的人是個衝擊，因為卷積網路給人的直覺是，感知就是一層層往上抽特徵。 真實的大腦在做一件完全不同的事：它在構建世界的模型，然後不停地把這個模型投射回世界。你看到的東西，是投射出去的預期和實際進來的感覺輸入合成的結果。George 不太喜歡"計算差值"這個說法，他更願意說：**在已有世界模型的基礎上，為當前輸入找到最好的解釋。** 所有視錯覺都從這裡來。他舉了 Kanizsa 三角，三個缺角的圓盤擺在那，你的視覺系統會自動補出三角形的邊。神經元真的在放電錶示那條邊存在，儘管輸入裡那塊畫素是黑的，沒有任何資訊。而且這些神經元放電的時間比真實邊刺激時更晚，追溯回去，是反饋連線把它們點著的。更細的實驗還能定位：哪一層編碼邊，哪一層編碼表面，前饋和反饋在什麼時刻合成最終知覺。 還有個實驗他印象很深。給被試看一個紋理背景上的紋理三角形，問：知覺形成的過程中，是先確定輪廓，還是先確定內部表面？答案是先輪廓，再往裡填充。這個過程的時間動態、涉及的皮層層次，都能測出來。 這些實驗指向同一件事：大腦在做貝葉斯式的推理。它先給出假設，再用輸入去修正假設，修正的結果又會改變下一次看到的東西。 ## 解釋掉：一場關於地震和防盜警報的推理 George 用了 Judea Pearl 那個經典例子來講什麼叫"解釋掉"（explaining away）。 你家裝了防盜警報，它可能因為有人闖入而響，也可能因為地震而響。你在辦公室收到警報響了，第一反應是有人闖進去了，開車往家趕。路上聽廣播說附近剛發生了地震。這時候你對"有人闖入"的信念會大幅下降，因為警報這個證據已經被地震解釋掉了。 同一份證據，隨著其他原因的證據增加，會從支援一個假設轉向支援另一個假設。這就是兩個競爭性的原因在爭奪同一份證據的解釋權。 George 認為大腦幹的正是這件事。而且這能落到解剖結構上，可以指著某條迴路說，這裡是競爭發生的地方。 ## 一個皮層柱，一個二元變數 他最近那篇論文提出了一個假說：**一個皮層柱可以看作編碼一個概念，具體說是一個二元隨機變數。**這裡有沒有一條邊，這裡有沒有一個物體。 皮層柱之間的連線，編碼的是這些隨機變數之間的關係。皮層柱內部由多層神經元構成，結構極其複雜，一個柱裡有幾千個神經元，但不同皮層柱的內部結構高度一致。所有皮層柱還都和一個叫丘腦（thalamus）的結構相連。他的假說是：柱間的連線儲存知識，柱內神經元和丘腦配合執行計算，而這個計算就是推理，包括解釋掉，包括多個假設之間的競爭。 有意思的是，實驗神經科學家其實已經做到了這一步。他們能證明某個高層神經元會透過丘腦的複雜迴路去抑制另一個柱。只是他們沒有把這些結果放進一個統一的推理框架裡講。 Lex 追問：這個概念需要是人能理解的嗎？ George 說不需要。你總能找到某種解釋，因為它和別的東西連著，但人是否可讀不構成它的核心屬性。它的核心屬性是：作為一個實體，它在圖模型裡有用。 ## 遞迴皮層網路：不可微，但會推理 RCN 是這個思路的工程實現，最初用來破驗證碼。 先說架構上和卷積網路的區別。前饋那部分看起來相似，都是特徵檢測加池化，多層堆疊。但它額外有兩樣東西： 一是生成能力。網路可以往回跑，把前饋和反饋合起來，這對應大腦裡的反饋連線。 二是側向連線。相鄰位置的邊緣節點之間有約束，保證變換是協調的。如果只有特徵檢測加池化，視野不同部分的變換互不知情，生成出來就是歪七扭八的鋸齒狀的邊。 關鍵的一點：**這個網路不可微，不能反向傳播訓練。** 那它怎麼做推理？George 舉了驗證碼的例子。驗證碼故意把字元擠在一起，一個 R 挨著一個 N，區域性看非常像一個 M。區域性證據強烈指向錯誤答案。但全域性唯一的自洽解釋不是 M。系統做的事情是，把區域性證據放進全域性語境，得出一個和區域性資訊衝突的結論。 這件事卷積網路也能做，但做法不同。它在訓練時見過成千上萬個這種組合，學會了攤銷推理（amortized inference），看起來像在實時推理，其實是在查表。RCN 想做的是動態推理：沒見過的組合，靠模型內部的約束求解出來。 這也是它能小樣本的原因。他提到在 ImageNet 變體上的實驗，幾十到幾百個樣本就能到 95% 的準確率，當時是超過其他系統的。傳統基準裡訓練集往往比測試集大十萬倍，他有意把這個問題反過來問。 ## 霍夫施塔特的字母 A 訪談裡 George 引了侯世達一句話，這句話把整個問題濃縮了。 侯世達說，AI 的核心問題就是字母 A。如果你能造出一個系統，可靠地識別出 A 的所有變體，你都不需要走到 B 和 C 了。 A 可以是兩個人傾斜著靠在一起舉著手，可以是樹葉拼的，可以是任何東西。**要真正理解字母 A，你大概得理解這個世界的一切。** 這就是為什麼驗證碼是個好問題。五歲小孩看任何新驗證碼都能讀，說明人類視覺系統掌握的是一套關於世界結構的先驗，跟字型樣式無關。George 說現在的系統破解驗證碼的方式，和人類完全兩回事，人類那種泛化能力至今沒有系統做到。 ## 和 Jeff Hawkins 的分歧：不要把學習演算法鎖死 Lex 問了個不太好問的問題。類腦這條線經常被批評為營銷大於實質，大話多，效能證據少。 George 的回應分兩層。第一層，那篇論文發在 Science 上，他對自己貢獻的那些想法有很高信心：反饋連線的重要性、遞迴推理、側向連線、把識別和分割聯合起來解、與高層認知和自上而下注意力的相容性。這些東西會留下來。 第二層，他講了個挺諷刺的故事。論文被接收後交給 Science 的新聞部門寫通稿，他們寫的是："一個新的深度學習模型破解了驗證碼。"而論文摘要裡明確說的是，現有深度學習需要大量訓練資料、不利用這些神經科學洞察，我們提出的是一個圖模型，做推理，深度神經網路不是我們走的那條路。宣傳機器自動把它翻譯回了當下最熱的那個詞。 他承認科學界的懷疑是必要的，但很多時候那不是懷疑，是潮流效應（bandwagon effect）。 至於他和 Jeff Hawkins 的分歧，落在了一個具體的地方：學習演算法要多嚴格地受生物可解釋性約束。 十年前在 Numenta 時，George 不願意把自己限制在當時已知的生物機制裡。理由是，我們每年都在發現新的生物物理機制、新的離子通道，把學習演算法綁死在今天的生物知識上，是危險的賭注。 但他對推理和識別那一側的態度完全不同。那一側他願意接受很強的約束，因為實驗好做。給個刺激，看多少毫秒後反應，能追溯到哪一層，這些都能測。學習那一側沒法做這種實驗，你就不知道你的約束是對的還是過早的。 這個區分很值得記：**哪一部分該嚴格抄大腦，取決於哪一部分能被實驗驗證。** ## 和喬姆斯基的分歧：語言是模擬的控制層 他後來那篇 Science Robotics 論文做的是另一件事。給機器人看一張初始狀態圖和一張終止狀態圖，讓它推斷中間發生了什麼。比如把廚房檯面上所有紅杯子拿到這裡。沒有語言，只有影象。 這叫言語前的概念理解。George 強調，從純文字里能學到的只是關聯，比如牛大機率在草地上。這算不上概念。概念是對真實世界發生的事的抽象，它能被你在腦子裡模擬，也能連回真實世界。 所以他的立場是：**視覺和運動系統裡學到的概念，是任何真正語言理解的前提條件。**他明確說自己完全不同意喬姆斯基的普遍語法路線。 他舉了個例子來說明這個前提有多硬。有人說"莎莉把釘子釘在天花板上"，然後問：那顆釘子是中段水平還是垂直的？你會答垂直。你怎麼答出來的？你在腦子裡把那個場景模擬了一遍。這個知識不在語言系統裡，它在視覺和運動系統裡，五歲前就積累完了，語言只是呼叫它的介面。 ## 為什麼 GPT-3 走不到終點 Lex 順勢把話題引到 GPT-3。他扮演了一下反方：如果強迫一個系統去壓縮海量文字，會不會倒逼它構造出很像概念、很像世界模型的東西？ George 說不會，因為資訊不在那裡。 > 除非有人以極其荒誕的詳盡程度把世界上一切怎麼運作都寫下來，比如往前走比往後走容易，出門要開門，醫生穿內衣。這些要麼被人寫下來了，要麼程式從別的文字里發現它對壓縮有用。但資訊本身不在文字里。（Dileep George） 他提了夏農那本經典著作裡的例子。夏農用二階馬爾可夫模型生成英文，出來的東西看著挺像那麼回事。這算不算有世界模型？算，在那個層級上算。Transformer 當然比二階馬爾可夫複雜得多，它有世界模型，有有趣的屬性，有用。 但把規模繼續放大，不會通向自然語言理解。Transformer 本質還是前饋架構，做不了因果推理、反事實推理、干預，也就是在世界裡採取行動。這些需要另一類模型。 他開了個玩笑：這個模型讀完了量子力學和相對論的全部文獻，然後你讓它去做填空題。 Lex 在這裡做了一次自我修正，說自己是在扮演魔鬼代言人。他提出，也許智慧的核心比我們想的笨得多。我們用人話描述的這些概念、層級、世界模型，可能只是我們想讓它像人，而真正起作用的機制非常樸素。 George 承認這一點的可能性。他自己也覺得，神經網路居然能工作這件事本身就很令人意外，非線性空間裡居然能找到一個還說得過去的區域性極小值。AlphaZero 的自我對弈也是，強化學習居然真的有效。 但他仍然認為方向是清楚的：需要更多結構，需要世界模型，需要支援動態推理。這是從生物和演化史裡讀出來的。 ## 兩種記憶，海馬體只是索引 話題轉到記憶。George 說這裡有一件事非常清楚：必須有至少兩種記憶。 一種是統計模式，世界反覆出現的規律，可以壓縮，可以泛化。另一種是一次性事件，某年某月某日發生的、永遠不會再發生的事，必須原樣存下來。 問題是這兩者怎麼連起來。他的假說是，情景記憶存的是一串指標，海馬體儲存的是時間上的序列，指向皮層裡的那些統計模型。當你遇到一個新情境，皮層在做推理，海馬體同時被啟用，給出"這我以前見過"的感覺。然後海馬體可以驅動皮層重建那段經歷，把當時的場景在腦子裡放一遍。這個重放又會反過來影響你現在看到的東西。 所以方向是雙向的：皮層到海馬體是索引，海馬體到皮層是重建。 ## Neuralink：讓大腦去適應機器 Lex 問他怎麼看腦機介面。George 說這個領域他一開始就有興趣，當年在斯坦福，正是一場腦機介面的講座把他引到了大腦這個問題上。 他看好中間的里程碑：用腦訊號控制外部義肢，讓四肢癱瘓的人恢復部分行動能力，給大腦寫入訊號。這些都有巨大應用價值，也有公司在做，包括外科手術植入的路線。 真正難的落在安全上，頻寬反倒其次。就算你神奇地解決了把上百萬電極安全植入大腦的問題，你仍然不知道大腦會怎麼反應。神經可塑性很強，大腦會重構自己。 他的想法是把方向倒過來：**接上一塊沒人用的皮層，讓大腦自己學會用它。**如果從出生就接上，大腦會把那塊區域訓練成一個高頻寬通道。外部的機器則設計成可適應的，就像我們設計滑鼠和鍵盤去適配人一樣。兩個系統互相適配，主要方向是大腦在適配機器。 他還提了一個警告：這類連線可能帶來的幻覺會非常強烈。把大腦直接接到 Twitter 的資訊流上，那種體驗的強度不難估。 ## Vicarious 這個名字：代入他人 公司名 Vicarious 的意思是"代受的、設身處地的"。George 解釋了這個名字的由來，也是他理解意識的起點。 第一層，你和一個世界互動，學到很多東西，此後你可以在腦子裡跑這些過程，不必真的動手。這是 vicarious 的原意：在想象中經歷。 第二層，你有一套建模世界的裝置，這套裝置也能用來建模另一個人，把別人的想法跑一遍，等於穿上別人的鞋走路。 第三層，也是最關鍵的：**同一套建模裝置，可以轉向自己。**當它開始建模自己的建模過程時，自我意識就出現了。George 認為意識是這麼來的。 Lex 追問那個"難問題"：自指是一回事，感受質是另一回事。當這個模型"感覺像什麼"，當你不只是知道自己是個實體，而是作為那個實體有主觀體驗。 George 順著往下推了一步：一旦有了這個，就有了可受苦的存在者，道德考量隨之而來。 ## 為什麼他不擔心 AI 殺人 Lex 提到死亡。有限性、終點，對人類來說似乎是深層的驅動力。 George 說，這確實是人類認知的一部分，但對人造系統沒有必然性，因為人造系統可以複製。人類的困境在於，你沒法克隆自己，你腦子裡的情景記憶不會跟著複製過去。 Lex 反過來問：所有已知的智慧存在都是有死線的，這會不會是智慧的本質屬性？ George 給出了那個讓人印象深刻的推論：正因如此，他不太擔心 AI 產生"消滅人類"的動機。 > 為什麼要那麼做呢？謀殺看起來工作量很大，直接不做就行了。（Dileep George） 這個回答聽起來像玩笑，它其實是從一個嚴肅前提推出來的：人類的攻擊性和緊迫感，很大程度來自有限性帶來的焦慮。一個可以複製、沒有內在死線的系統，不會有這種驅動。 ## 萊特兄弟的筆記本：飛機不扇翅膀，但這是觀察鳥得來的 他推薦了三本書。Judea Pearl 的《Probabilistic Reasoning in Intelligent Systems》，技術很深，但 Pearl 會在各處夾帶哲學觀察，把機率圖模型和大腦怎麼思考、注意力、資源聯絡起來。第二本是侯世達和 Daniel Dennett 編的《The Mind's Eye》。第三本不屬於技術書，是講萊特兄弟的《Bishop's Boys》。 萊特兄弟那本引出了整場訪談最好的一個類比。 人們常說，我們造飛機沒學鳥，飛機不扇翅膀。George 說，諷刺的地方在於，"飛行不需要扇翅膀"這個洞察，恰恰是萊特兄弟觀察鳥得來的。他們的筆記本里詳細記錄了禿鷲怎麼在熱氣流上滑翔。他們從觀察中得出的結論是：扇動不是關鍵，推進不是核心問題，**要解決的是控制**，控制解決了，推進自然會有辦法。 這就是他理解類腦 AI 的方式。這套方法的核心在於從大腦裡讀出哪些是本質的、哪些可以被工程手段繞過，照抄細節從來不是目的。卷積不是大腦的操作，大腦沒有平移不變性，中央凹的權重和 periphery 完全不同，卷積是共享引數帶來的效率技巧，將來機器人有了會動的頭和眼睛，這個技巧就會過時。 但"該抄什麼"這個判斷本身，只能靠真的理解大腦才能做出。 ## 給想入行的年輕人 Lex 問他給學生的建議。George 先說了句所有建議都要打折聽，然後給出一個很實用的分流。 如果你的目標是理解大腦，而且是為了造出智慧系統，那走實驗神經科學可能不是最優路徑。更適合的是電腦科學、電子工程、機器學習。神經科學的知識要學，但可以自學。 如果你的動機是被大腦本身的神秘吸引，想親手發現點什麼，那就去做實驗。 他提到十年前 Redwood Neuroscience Institute 的一次座談，問一群研究者：想理解大腦，本科該讀什麼？多數人的答案是電子工程。理由是你會學電路、學怎麼用電路實現功能、學微處理器、學資訊理論、學訊號處理、學連續數學。這些是理解大腦的好底子。代價是，你更可能被迫用 MATLAB。 他還說了一句在今天的語境下格外重要的話：所有人都該學程式設計。理由跟當不當程式設計師無關。它把資料放到你手邊，讓你能組織它、在裡面找東西、在需要的時候基於它造系統。 ## 最後那個問題：意義 Lex 最後問他生命的意義。 George 說，意義是開放的，你往裡塞什麼就是什麼。 但緊接著他給了自己版本的答案。我們談的一切，感知系統、世界模型、推理，說到底是在理解這個世界運轉的機制。**理解了這臺機器，剩下的你想幹什麼都行。**剩下的部分，無論是什麼，都只是文化上流行什麼而已。 這個回答和他整場訪談的立場是一致的。他做的事，歸根到底是搞清楚智慧這臺機器怎麼運轉，讓 AI 更像人這件事不在他的目標函式里。至於這臺機器被用來幹什麼，那是另一個問題。 - **想判斷一個 AI 系統的能力邊界，看它能不能處理訓練分佈外的新樣本。**驗證碼是個低成本試金石：找一個五歲小孩能讀、但你手上的模型沒見過的驗證碼風格，如果模型崩了，說明它學到的是樣式，跟結構無關。 - **讀神經科學論文時，把"發現了什麼現象"和"這個現象在計算上意味著什麼"分開記。**前者是原料，後者才能進模型。George 的做法是先把實驗發現翻譯成計算假設，再建模型，再用模型反推新的實驗。 - **評估一個類腦或認知架構的說法時，問一句：這個地方可驗證嗎？**推理和感知側可以做刺激、反應、時間、層次的實驗，學習側做不了。所以前者該嚴格受生物約束，後者不該。把這兩側混為一談的論證通常站不住。 - **別急著把可微性當成硬性要求。**RCN 不可微，不能反向傳播，靠約束求解做動態推理。如果你的問題核心是區域性證據和全域性解釋打架，那攤銷推理（訓練裡見過所有組合）和動態推理（現場求解）是兩條完全不同的路，後者可能更值得試。 - **想做類腦 AI，本科優先考慮電子工程或計算機，神經科學自學。**要的是電路、資訊理論、訊號處理這套底子，加上動手寫程式碼的能力。反過來，如果動機是發現大腦的新現象，那就去做實驗神經科學，別在工程系裡憋著。 - **遇到"某模型讀完了人類所有文字所以應該懂了"這類論證，問一句：這個資訊在文字里存在嗎？**往前走比往後走容易、出門要開門這類常識，如果不被寫下來，壓縮再多文字也推不出來。它來自和物理世界的互動。