# 傑伊·麥克萊蘭：神經網路與認知的湧現

> 認知神經科學先驅講述聯結主義神經網路的興衰，討論分散式表徵如何解釋人類認知的形成。

- 原標題：#222 – Jay McClelland: Neural Networks and the Emergence of Cognition
- 期數：第 222 期
- 釋出日期：2021-09-20
- 嘉賓 / 主題：傑伊·麥克萊蘭：認知湧現
- 網頁版：https://lex.qiaomu.ai/tw/ep/jay-mcclelland/
- 官方頁面：https://lexfridman.com/jay-mcclelland/
- 精讀字數：約 14913 字（閱讀約 33 分鐘）

> 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。

1990年代末，加州一家認知障礙護理機構。Jay McClelland 帶 David Rumelhart 出門吃飯。路上 Rumelhart 說不清餐廳在哪，只是指著前方說，這兒拐。到了餐廳，他一個菜名都說不出來，卻能用手指準確戳到選單上自己想要的那道菜。

Rumelhart 患的是語義痴呆。這個病名幾乎就是他和 McClelland 一起建立的那套理論的註腳：概念在大腦裡沒有獨立的儲存位置，它是一組神經元上的分散式啟用模式。模式退化時，最細微的區分最先消失，剩下的只有最熟悉、最高頻的那部分。

於是他開始把所有中等體型的四足動物叫狗，大的叫馬，小的叫貓。

在加州大學聖迭戈分校（UCSD）和斯坦福，Rumelhart 是那個最專注、最目標導向、最好勝、願意為一道難題啃上好幾年的人。McClelland 說，這個人一點點消失了。消失的方式，恰好把他們共同提出的理論演示了一遍。

> 我認為他做不到。從外面看，這正是這場悲劇最深的地方。（Jay McClelland）

在神經網路的歷史上，Rumelhart 和 Geoffrey Hinton 合著了反向傳播論文，和 McClelland 合著了《並行分散式處理》（Parallel Distributed Processing）。這兩件事，幾乎構成過去十五年深度學習革命的全部思想源頭。

2021年9月，McClelland 在 Lex Fridman 的播客裡聊了兩個多小時，從笛卡爾聊到語義痴呆，從數學直覺聊到死亡。下面挑出的是這場對話裡密度最高的部分。

## 從笛卡爾之夢裡醒過來

1960年代末，認知心理學剛成為一門獨立學科。1967年那本同名教材《Cognitive Psychology》的作者在書裡寫，研究神經系統只是邊緣興趣，它不會告訴我們任何關於心智的事情。

McClelland 不同意。他的理由很樸素：我是一個物理存在，塵歸塵，土歸土，我怎麼就從這裡面湧現出來了？

他後來把這叫"從笛卡爾之夢裡醒來"。笛卡爾有一次在凡爾賽花園散步，踩到一塊石頭，旁邊一尊雕像動了。他往前走，再踩一塊石頭，另一尊雕像又動了。他跑去問園丁，才知道地下有一套水力系統：踩石頭改變水流方向，水灌進雕像，雕像就動。笛卡爾由此建立了動物行為的機械論，認為人體內那些不運血的小纖維是液壓管，一碰就產生壓力，壓力傳到別處，就產生動作。

身體是機器，這沒問題。思維另算。笛卡爾認為，必須有一個神聖的東西降臨到人體裡，人才有思考的能力。物理世界包括身體和動作，不包括思想。

這套二分法在學術上延續了很久。生理學研究感覺系統和運動系統，是你刺激神經元能直接測到的東西；認知研究抽象演算法，是另一套語言。McClelland 本科時學了生理機制，讀博時學認知心理學，坐在教室裡想的是：等一下，整件事都是生物的啊。

在他看來，這件事不需要論證。它一直很明顯。

## 達爾文的噩夢與黑猩猩的海馬體

明顯，也不明顯。McClelland 用達爾文來打比方。

達爾文很早就知道，當時所有現成的想法都沒法解釋進化怎麼運作。他想搞清楚它到底怎麼運作，這是他的目標。他花了很多年，讀各種給他線索的書，覺得有意思但不知道為什麼，畫了一張又一張略有差異的鳥的圖。然後他想通了。

想通之後，他開始做噩夢。夢到眼睛的複雜性，夢到別人用來反駁他的那些論證：這麼精密的器官，怎麼可能是無引導過程的產物，它一定出自設計。

他很久沒發表，一部分原因是害怕自己的想法。他自己都不敢相信這是真的。

到20世紀，人們逐漸接受了進化。笛卡爾的說法開始顯得可疑。猿、黑猩猩、倭黑猩猩也挺聰明。有人說，猴子大腦裡沒有海馬體，只有人類有。19世紀末，赫胥黎在一大群觀眾面前做了一場手術，當場證明黑猩猩大腦裡有海馬體。

物種的連續性，是"人是自然的完整產物"這個觀念的又一塊拼圖。

自然究竟怎麼產生出具備我們這種能力的有機體？這件事讓他著迷。

## 一次基因突變，和數億年的靜止

視覺研究領域很早就不糾結這個問題了。猴子的視覺通路和人類極其相似，從眼睛到大腦、頭幾層皮層，幾乎是同一個設計。真正的跳躍發生在認知這一側。

喬姆斯基的版本是：10萬年前發生了一次基因意外，某個現代人的前人出現了語言能力的一次微調，語言隨即成為把人和所有其他動物分開的東西。

McClelland 認為語言確實重要，但它和一大堆相關能力一起演化：社會性、互相投入、組織並理解世界的豐富機制。語言插進這套機制裡，成為集體智慧的工具。核心是集體智慧本身，語言是它得以運轉的介面。

他還提到進化論裡的一個概念：間斷平衡。我們習慣把進化想成連續的，5億年裡緩慢變化。化石記錄講的不是這回事。它講的是數億年的靜止，然後突然一變。這個"突然"，放在地質尺度上可能是一百萬年，也可能是一千萬年。

間斷平衡（punctuated equilibrium）在進化生物學裡是個重要概念。McClelland 覺得它同樣適用於心智慧力的發育。四歲孩子和七歲孩子的心智差別是深刻的，你回頭看四歲的自己會想，我怎麼會那樣想事情？皮亞傑（Piaget）的階段理論講的就是這個：階段之間界限分明，然後突然過渡。

幾年經驗積累下來，某個時刻會發生一次洞見、一次躍遷、一個新的階段。這類現象在複雜系統研究裡有統一的語言。進化生物學、發育生物學、認知發展，被同一種思路處理過。

McClelland 說他同樣著迷於更早的那一段：從胚胎到大腦的裝配過程。你現在做的事情是讓一個已經裝配好的大腦去探索世界、去學習，這已經夠神奇了。但那個能學習的東西本身是怎麼被造出來的？從工程角度看，這一步更讓人無從下手。

腦類器官（brain organoid）的研究讓他覺得離譜：你可以培育出很多個微型大腦，觀察一個機制如何從 DNA 材料裡自組裝出來。生物程式憑空生成一個軟乎乎的系統，這個系統足夠魯棒，能在高度不可預測的世界裡學習，能學會看上去任意的、數量極大的、足以支撐生存的東西。

從大腦到心智的湧現，整條鏈路看起來是連續的。

## 1979年那場會議，和擠進同一個房間的人

1974年，McClelland 拿到助理教授職位，去了 UCSD。他到的時候，那裡剛發生一件在他看來很了不起的事。

David Rumelhart（戴維·魯梅爾哈特）和 Don Norman（唐·諾曼）剛出了一本書，《Explorations in Cognition》。書裡一系列章節探討認知的有趣問題，用的是完全抽象、非生物的方式。McClelland 的感受是：我來到了一個人們能聚在一起、覺得自己在集體探索想法的地方。這本書帶著一種輕盈感。Norman 比 Rumelhart 資深，他主導了這個專案，也一直營造那種玩著探索的氛圍。

但 McClelland 自己還有一半心思在別處。他關心人類認知，可從當時主流認知心理學那裡拿到的是一種脫離身體（disembodied）的思考方式，這套東西在他那兒不夠用。

1979 或 1980 年，Jeff Hinton（傑弗裡·辛頓）和 Jim Anderson 在 UCSD 組織了一場會議，題目叫"聯想的並行模型"（Parallel Models of Associative Memory）。所有在想這類問題的人被聚到一起。參會者裡有 Steve Grossberg，他從60年代就在寫神經網路；有 Jim Anderson，一個工程師出身、後來做了心理學教授的人，用線性代數做出了知覺、分類和記憶的神經網路模型；有 Hinton；有 Paul Smolensky，當時還是博士後。

還有 Francis Crick（弗朗西斯·克里克）。他在索爾克研究所，從 Hinton 那裡聽說了這個小組。Hinton 在英國人圈子裡以絕頂聰明著稱，Crick 和那批英國朋友聯絡緊密，就這麼來了。

McClelland 回憶自己1977年走在校園裡，感覺像聖保羅在大馬士革路上：如果我用力去把心智想成一個神經網路，它會幫我回答我一直在問的那些關於心智的問題。

Hinton 能來 UCSD，還有個具體原因。他的博士論文投到了 Rumelhart 和 Norman 主持的博士後訓練專案申請池裡。Rumelhart 讀了非常興奮。Hinton 於是成了這個由一筆慷慨經費資助的博士後群體裡最早的一批人之一。

## 別從生物學裡找規則

三個人組成了 PDP 研究小組。Hinton 跟他們談學習：神經網路裡的學習該怎麼想。

Hinton 說，你們這個路子有問題。你們一直在從生物學裡找靈感，想知道突觸該按什麼規則改變連線強度、連線該怎麼形成。**這是錯的方向。正確的做法是先定義一個要解決的問題，再想清楚調整連線權重怎麼解決這個問題。**

Rumelhart 聽完，轉頭跟自己說：好，那我就這麼想。我設想我有一個目標函式，我希望這臺機器把所有影象正確分類，我可以給它打分，可以測量它在每張圖上的表現，得到一個誤差或者損失。然後我要弄清楚怎麼調整連線權重，把這個損失降下去。

這就是梯度下降。工程界早就熟悉這個概念。斯坦福電子工程系的 Bernie Widrow 和一個叫 Hoff 的合作者發明過一條 delta 規則，處理的是單層連線權重上的梯度下降：給一組神經元輸入，希望輸出產生某個模式，定義目標與網路輸出之間的差，然後算出怎麼改權重能減少這個誤差。

Rumelhart 做的是把這個結論推廣到輸入與輸出之間的隱藏層。他最初把這演算法叫"廣義 delta 規則"，因為它就是梯度下降思路的延伸。

有意思的是，Hinton 當時認為這條路走不通。他有自己的替代方案，基於玻爾茲曼機（Boltzmann machine）的概念，那篇論文1985年發表。結果反向傳播比玻爾茲曼機的學習演算法效果好。廣義 delta 規則後來被叫做反向傳播（backpropagation）。

"反向"是什麼意思？要算出從輸入到隱藏層該做哪些改動，你得把誤差訊號從輸出層沿著"隱藏層到輸出層"的連線反向傳回去，得到隱藏層每個單元自己的誤差訊號。Rumelhart 的表述是：輸出層的誤差我們知道，看看能不能在隱藏層造出一個訊號，告訴每個隱藏單元它的誤差是多少。

## 一個不寫公式的人

Hinton 留給 McClelland 的東西不止演算法。

他1981年有兩篇論文，都遠遠超前。一篇基本就是 transformer 的想法，另一篇是早期的語義認知論文，啟發了 Hinton 自己、Rumelhart 和 McClelland 整個80年代的工作，也仍然支撐著 McClelland 今天對語義認知的思考。

還有一篇1977年從未發表的小論文。Hinton 當時還是博士生，在裡面描述了神經網路怎麼做遞迴計算。思路很巧：呼叫子程式時，需要儲存呼叫時的狀態，子程式結束後才好回去。他的辦法是透過快速改變連線權重來儲存呼叫者的狀態，子程式結束時，這些快速變化讓系統恢復到之前的情境，頂層計算得以繼續。這個想法他後來一直在探索。

另一件事影響更深。Hinton 不寫太多方程。傳說在 Hinton 的實驗室例會上，沒人站起來在黑板上推公式，那是別的機器學習實驗室的做法。他們畫圖。他解釋深度學習怎麼運作時，會把兩隻手合在一起，給你比出一條峽谷的形狀，用它當作梯度下降的幾何隱喻：你正沿著峽谷的峭壁往下走，步子邁太大就會跳到對面去。這就是為什麼學習率要調小。

> 它讓我看到深刻洞見本質上具有直覺性格，同時又伴隨著一種承諾：最終要把它理解得完全顯式、完全清楚，但這個過程也始終是直覺的。（Jay McClelland）

Hinton 是邏輯學家布林（Boole）的後代，出自一條長長的英國學術譜系。他想讓自己被視為在理解推理本身，不只是人類推理。布林做的是邏輯：從什麼能推出什麼，怎麼把它形式化。Hinton 80年代前期在玻爾茲曼機上做的工作，就是把這條布林傳統接到連續的、機率的、滿足多重約束的世界裡。那套想法和理論物理、和邏輯都連著。

McClelland 說他自己也一直受玻爾茲曼機啟發：如果神經元的計算是機率的而不是確定的，也許這就是靈光一現時刻裡那種偶然性的來源。那個念頭未必就在那一瞬間產生，它可能部分是隨機過程的結果。

## 從"專家"到神經元

Rumelhart 有一個階段在做老式人工智慧（good old fashioned AI）的路子：用形式邏輯和知識庫來表徵語言和內容，比如"有錢"這個概念。他感興趣的是，機器聽到兩句話之後能不能產生一個洞察。

他最愛舉的例子是：Margie 坐在門前臺階上，聽到熟悉的冰淇淋車音樂，她想起自己的生日錢，跑進了屋子。Margie 在幹什麼？為什麼？

最自然的解釋是，冰淇淋車賣冰淇淋，她喜歡冰淇淋，她知道買冰淇淋要錢，所以跑進屋拿錢。你要讓這些事互相連上，中間需要極大量的推理。

老式 AI 的正規化給不出答案。Rumelhart 開始想另一件事：我們需要一種系統，能讓多個同時存在的約束互相影響。

他寫了一篇論文，《閱讀的互動模型》（An Interactive Model of Reading）。McClelland 第一次讀的反應是：哦，好，但這重要嗎？過了一段時間，這東西鑽進了他皮膚裡。

論文裡的想法是：我們讀到一個詞時，每一個層次的分析都依賴其他所有層次。畫素告訴我們這是什麼字母，字母告訴我們這是什麼詞，詞告訴我們作者想傳達什麼觀念。他給每一層都設了一組"專家"，有從畫素構造線段的專家，有判斷哪些線段組成哪個字母的專家，有判斷哪些字母組成哪個詞的專家，有管詞義的專家，有管詞義怎麼組合的專家。

這些專家同時看著資料，同時在各層更新假設。詞層專家可以告訴字母層專家：我認為那個位置應該有個 T，因為我認為這裡應該是"the"這個詞。自下而上的特徵層專家也可能說：我也覺得那裡有個 T。兩邊一致，你就看見了一個 T。自上而下、自下而上，雙向互動，所有層同時進行。

後來他意識到，那些專家可以被神經元式的處理單元替換掉，每個單元只靠自己的連線權重幹活。於是有了"字母知覺的互動啟用模型"（interactive activation model）：畫素級輸入、線段特徵、字母、單詞，全部由神經元式單元構成，單元之間用連線權重相連。

代表"time"這個詞的單元，連著第一位字母 T 的單元、第二位字母 I 的單元，依次往下。這些連線是雙向的。如果你已經知道那可能是"time"，它會去啟動對應的字母和特徵。如果不知道，就只能自下而上。方向取決於資訊先從哪兒進來。上下文和特徵同時到位時，它們會收斂出一個湧現的知覺。

這項工作讓兩人徹底確信：神經網路這條路，能真正回答他們作為認知心理學家關心的問題。

## 知識不在字典裡，在連線裡

McClelland 認為 connectionism（聯結主義）這個詞有用。它點出了一件事：系統所利用的知識存在於單元之間的連線裡。沒有一個單獨的字典。

代表"time"這個單詞的單元，除了連著構成 time 的那些字母單元，沒有別的理由成為"time 的單元"。系統裡並沒有哪個地方寫著 time 這個詞。只有在他們畫的那張模型圖裡，標籤寫著"這是 time 的單元"。如果有人問，這個詞怎麼拼？你得用從那個單元出去的連線，把字母一個個取出來。

人類習慣用邏輯的方式想事情，總覺得知識該存放在某個地方，等著被讀取。連線主義講的是另一回事：沒有任何位置存著它。

拿卷積神經網路（CNN）舉例。它有幾十層甚至上千層神經元式單元，最後它會說"這是貓"、"這是狗"，但它完全不知道自己為什麼這麼說。第一層到最後一層之間全是連線，越往深處特徵越抽象，而這種抽象是一個漸變的、連續的過程。到最後仍然只是某個單元陣列上的一個啟用模式。

你睜開眼睛說，哦，那是 Lex，或者那是我的狗。我知道這一隻，因為它有一些細微的獨特之處。但我沒法說清楚是什麼讓我認出它。或者某個牌子的車，我能說上幾句，但如果要我寫一段話讓你猜出是哪輛車，你猜不出來。

把"讓我認出這個具體例項"的知識寫成一組命題，這件事從來沒成功過。視覺識別上，你永遠寫不出那組命題。所以在這個領域裡，預設的假設一直是：計算過程裡有某些東西是你無法訪問的，你只拿到結果。

> 你讀不到連線裡的內容。連線只是根據輸入產生輸出。（Jay McClelland）

McClelland 曾經半開玩笑地說自己是"激進的、消除式的聯結主義者"（radical eliminative connectionist），因為他不想讓人以為他想往機器裡預裝什麼東西。後來他把"消除式"這個詞去掉了。它暗示"理解"這個湧現層次是假的，他不同意。

他現在管自己叫"激進的湧現論聯結主義者"。高層次的心智現象是真實的，但它們沒有以實體的方式存在。他借用 Douglas Hofstadter 的比喻：我們可以把沙丘當成一個東西，甚至數一數有多少個沙丘，但我們也知道沙丘非常流動，它就是一堆沙，在風裡移動、重新成形。把想法想成沙丘，那麼這個想法存在著，但你不能把它當作一個不需要理解底層機制就能掌握的實體。

## 理論在自己身上演示了一遍

語義痴呆（semantic dementia）是一種特定形式的、與意義有關的智慧喪失。

病人逐漸失去理解經驗意義的能力，無論資訊來自觸覺、視覺、聽覺還是語言。他能聽到聲音，但不知道那是什麼意思。

病程早期是分不清相似的狗品種，或者記不住低頻、不熟悉的類別。往後越來越驚人：認不出豬、山羊、綿羊，把所有中等體型的動物都叫狗；認不出兔子和齧齒類，把所有小的都叫貓；認不出河馬和牛，把它們都叫馬。有個病人到後來，任何四足動物只叫三個名字：大的叫馬，小的叫貓，中間大小的叫狗。

McClelland 的合作者 Carolyn Patterson 設計了一個測試，叫"金字塔與棕櫚樹"（pyramids and palm trees test）。給病人看金字塔的圖，讓他在棕櫚樹和松樹之間選一個配對的。結果發現，這種能力喪失和語言無關：無論用詞還是用圖呈現，病人都做不出來。他能匹配詞和詞，也能匹配圖和圖，但做不了詞圖匹配。兩個模態的概念基礎都已經丟了。

這就是"語義"這兩個字的字面意思：語義本身在瓦解。

用分散式表徵可以解釋：概念是一組啟用模式，相似的概念模式也相似。隨著表徵退化，細微差別最先丟失。狗和山羊之間的差別不再是模式的一部分了。而狗極其熟悉，所以它留下來。

問題是，Rumelhart 本人正在經歷這一切。

McClelland 把 Rumelhart 比作認知科學界的霍金。兩人都患了退化性疾病。霍金的是運動系統，Rumelhart 的是語義系統，不只是純粹的客體語義，可能還包括"自我"的語義。

那段日子裡，那個曾經最專注、最好勝、最願意為難題耗上數年的人一點點淡出。有一段時間，周圍的人都很難真正意識到，他某種程度上已經不完整地在那裡了。後來大家終於確認，這是生物學意義上的病變，不是那天走神了。

他從斯坦福的教職退休，跟哥哥住了兩年，然後搬進一家收容認知障礙者去那裡，很多有認知障礙的老人最後都住進這類機構。90年代末、2000年前後，McClelland 常去看他。他們去打保齡球，他還能打。打完球 McClelland 問他想去哪兒吃飯，去 Wendy's 好不好，他說不好。那你想去哪？他指了指，說，這兒拐。他還有相當程度的空間認知，能把人帶到餐廳。

到了餐廳，McClelland 問他想點什麼。他一個詞都說不出來，但他知道選單上哪個位置是他想要的。他說不出那是什麼，卻清楚那是他想吃的。

認知完全不是一整塊的。它有程度之分，也是多部件的，有些區域性的能力在其他能力消失之後依然存在。

McClelland 說他一直著迷於過去被叫做"認知神經心理學"的領域，腦損傷對認知的影響。特別是這種逐漸瓦解的過程。

> 我堅信，失去一個你珍視的人，其力量不亞於當初愛上那個人。它同樣是對這個人的慶祝。（Jay McClelland）

## Rumelhart 是誰

他來自南達科他州西部一個小鎮。母親是圖書管理員，父親是報紙編輯。四兄弟一起長大，父親鼓勵他們互相競爭：體育上競爭，智力遊戲上也競爭，數獨、國際象棋之類。Rumelhart 是那種出類拔萃的本科生，比大多數人更早進入南達科他大學，主修數學。不知道怎麼對心理學產生了興趣，申請了斯坦福的數學心理學專案，被錄取。

數學心理學是用數學給心理過程建模，今天大概會叫"認知建模"。它和計算機模擬不同：你寫下關於基本原理的設定，推出關於行為的預測，全用方程，解出來告訴你在實驗第七次試次上被試答對的機率是多少。那段時間斯坦福聚集了幾位極強的數學頭腦，全國還有三四個同行，把一堆激動人心的想法擺上桌面。那是心理學裡極有聲望的一塊。

1967年，Rumelhart 去了聖迭戈那所全新的大學，成為 UCSD 心理學系最早的助理教授之一。McClelland 七年後到的時候，他還在做數學建模，但興趣已經轉向認知，轉向"理解"。理解到底是什麼意思？我們怎麼知道自己真的理解了什麼東西？他想造出能聽兩句話就產生洞察的機器。

Margie 和冰淇淋車那個例子，就是他當年最愛的難題。他一直在試著用老式 AI 的方式建語言表徵和"有錢"這類內容：形式邏輯、知識庫。到70年代末，這套東西開始顯得過時，也沒有真正做出來。大家都在承認這一點，Rumelhart 是其中之一。

然後是那篇互動模型論文。再然後是他讀了 Hinton 的博士論文，聽了 Jim Anderson 用線性代數做的神經網路模型，意識到那些"專家"可以換成神經元式單元。剩下的事，就是 PDP。

## 數學是關於理想世界的工具箱

McClelland 寫過一篇《數學認知的並行分散式處理進路》。引言裡引了 Tristan Needham 的批評：把數學研究等同於符號操作，就像研究音樂卻從不聽一個音符。

他怎麼看數學？

數學是一套探索理想化世界的工具。這些世界往往和真實世界極其相關，但不必然。在這些世界裡，物件具有理想化的性質，物件之間的關係可以被精確刻畫，於是某些事實的推論能讓你確定地推出其他事實。

兩個三角形，如果第一個裡的某個角和第二個裡的某個角相等，夾這個角的兩條邊也對應相等，你就能斷定這兩個三角形全等，也就是所有性質都相同。這是關於三角形的事實，和公式無關。這些是理想化物件。我們用三角形造橋。我們靠推廣這些想法，測出爬不上去的東西有多高。讓一小塊物質從地球發射出去，在精確預測的日期時間，和冥王星之外某個極小的天體相交，這件事就靠這些想法。它確實發生在真實的物理世界裡。

自然數也一樣。McClelland 喜歡把零算進去，所以他說非負整數。數給了你精確說出自己有多少隻羊的能力：今天早上我放出去23只，你回來只帶了22只，怎麼回事？這是人類社會的基本問題：你最好一隻不少地帶回來。數讓商業、契約、記錄成為可能。

數既是抽象的、理想化的、可推廣的，又可以是極其具體、極其落地的。**人類心智最了不起的成就之一，就是發明了這些理想化系統，把思維的力量撬動起來。**

> 數學是發展出來的一套系統，用來思考一組理想化物件的性質與關係。我們不幸過分關注的那套數學記號，只是我們表達這些命題的方式。它就像語言，是我們為了交流這些想法而發明的，未必是這些想法的深層表徵。（Jay McClelland）

## 直覺發現，邏輯證明

去年夏末，McClelland 和妻子在北加州一個州立公園的林子裡散步，看到一張長椅上刻著龐加萊（Henri Poincaré）的一句話：邏輯用於證明，直覺用於發現。

他把這當成整個研究綱領的核心：怎麼把直覺的、聯結主義的資源帶進來，讓直覺性的發現能從和這套形式系統的互動中長出來。

像 Hinton、牛頓、愛因斯坦、Rumelhart、龐加萊、阿基米德這樣的人，會突然有一道閃光。那是所有同時存在的約束組成的星叢，以某種方式讓心智落進一個從未有過的新狀態，產生一個新想法。然後你才能問：好，現在怎麼證明它？定理的步驟怎麼寫，才能讓它變得嚴格、確定？

人類數學家的洞見是兩部分合起來的：一部分是聯結主義式的直覺知識，讓某些事顯而易見為真，不必去想它為什麼真；有了這個，你才能邁出下一步，去思考、去推理，搞清一件你原本沒有直覺的事。這件事最終又變成下一代數學思考者的直覺的一部分，他們在此基礎上繼續往前推。

McClelland 從深度學習裡看到了希望。

大規模文字訓練出來的網路，給一個提示就能生成相當有趣、相當有想象力、相當有創意的故事。它似乎從訓練資料裡數十億次經驗的所有細節中，合成出了某種類似"什麼會是一個好玩的小故事"的直覺感。讓系統自己發揮它對"給定這個提示，有人會說什麼"的想象，想法就湧上來了。這代表捕獲直覺那一側的可能性。

AlphaZero 是另一個例子。它下棋時產生的解法裡有新東西，讀起來很像天才的洞見時刻。機制上，搜尋是老式 AI 那一路，神經網路提供的是直覺：看一眼棋盤，看一組局面，判斷這個局面有多好、接下來幾步有多好。特級大師也是這樣，靠位置感、戰術感判斷形勢好壞，不必做深度搜尋。人下棋時會有一點"計算"，沿著某條線往下推演，系統裡也有對應的東西。那些系統裡同樣有天才的瞬間。

## 三千年前開始的沉浸

McClelland 強調的一點是：哲學家和邏輯學家三千多年前就開始發展這些形式系統，"形式地思考"這個觀念本身是慢慢被構造出來的。它先於歐幾里得，在泰勒斯等人的工作裡已經存在。《幾何原本》是一個連貫的文字，把"物件在其中被刻畫的真正形式系統"以及"從已知推出新真理的推理系統"確立為正規化。

有意思的地方在於：**能成為一個以這種抽象形式方式思考的人，本身就是長期沉浸於這種思考方式的結果**，就像我們今天理解語言習得那樣。我們沉浸在一種語言、一個由物件及其關係構成的世界裡，學會談論它，發展出對真實世界的直覺理解。同樣地，學術界創造出來的這些東西，早期哲學家在雅典、亞歷山大里亞和其他地方建立的學派，讓這些思想模式深深內化。

這就把 Jerry Fodor 式的看法頂了回去。Fodor 認為系統性思維是人類心智的本質特徵。McClelland 認為它是派生的、習得的，是在人類發明的某種思維模式裡被文化化的結果。

那它比語言更根本嗎？

McClelland 說這個問題他非常感興趣。答案是：在重要的意義上，這條線該劃；但劃完要回頭看，看差異裡更微妙的地方。

喬姆斯基出身學術家庭，父親是費城一所小型拉比學院的猶太教經學教授。他深深浸潤在思想與理性的文化裡，然後帶著與形式系統的深度糾纏去理解自然語言。這給了他巨大的力量，讓他對自然語言的結構有了一些驚人的洞見。

但關鍵在後面：對這些東西的實際直覺知識是有限的，到不了喬姆斯基自己以為的那一步。

這一點是 Lila Gleitman 的博士論文發現的。她受訓於同一個語言學系。她發現，語言學家對哪怕一個短語意思的直覺，不只是語法，而是他們相信這個短語必然是什麼意思的直覺，與沒受過形式訓練的普通人的直覺非常不同。

McClelland 現在的假說是：受過形式訓練的語言學家、哲學家、認知科學家、電腦科學家、機器學習研究者、數學家，他們與經驗互動的方式，在直覺上被深刻地結構化，更圍繞系統性和"與系統原則保持一致"來組織，而未經這種沉浸的自然人心智並不是這樣。

所以，你用來研究心智的學科路徑，反而把你帶離了心智的自然運作。這讓你很難做一個靠內省拿到答案的人。專家和普通人之間有巨大認知鴻溝，原因往往不在天賦，在人是否進入過那種系統化思考的沉浸。

## 專家盲點

這跟"初學者的心"和"專家盲點"（expert blind spot）是連著的。專家盲點聽起來平淡得多，但同樣折磨人：專家向非專家解釋自己的理解時，有些東西對他們來說太自明瞭，他們根本沒法想象怎麼跟別人解釋，因為那明擺著就是真的。

克羅內克（Kronecker）說，上帝創造了自然數，其餘都是人的工作。他表達的正是這種直覺：離散量可以被計數、數目無限、可以一直數下去，這些基本的東西不需要被發現。

他錯了。曾經有很長一段時間，很多認知科學家同意他。自然數被視為核心知識（core knowledge）裡先天裝備的一部分，這是 Spelke 和 Carey 討論人類心智先天原語時用的說法。他們現在已經不這麼看了。自然數是文化建構，這幾乎已經被普遍接受。

所以值得回去研究那些仍然存在、但沒有這套系統的人。

這就是 McClelland 想說的例子：某種思考語言的方式、某種思考幾何關係的方式，變得太自然，以至於你不知道該教什麼。而且我們其實從來沒真正顯式地教過它。你上數學課，教授按他理解的方式講，班上一些學生跟上了，開始獲得那種思考方式，能做教授認為有趣有挑戰的作業題。大多數沒有深度參與的學生永遠拿不到。

我們的反應是：這人一定很聰明，他一定有什麼特別的洞見，他一定有個不一樣的生物學開關，讓他能有那個洞見。McClelland 說，他不完全否認個體生物學差異，但他覺得更值得想的是另一種可能：差別在於喬姆斯基小時候家裡餐桌上談話的方式，那造就了他的思維取向。

這也是"專家盲點"最隱蔽的後果。一個領域裡最厲害的人往往是最難把入門的東西講清楚的人，因為他們早已不記得自己是怎麼學會的。教學上的絕大部分挫敗感，都來自這個錯位。

## 我們對自身的解釋是事後編的

還有一條心理學研究線索，McClelland 說對他一直很重要：我們對自己行為的解釋，未必是導致那個行為的因果過程的一部分，甚至未必是對導致那個結果的約束條件的有效觀察。它們是事後合理化，基於我們手頭掌握的資訊，在被問到的時候編出來。

這個想法來自 Nisbett 和 Wilson 一篇很重要的論文，講的是我們對自己為什麼做出某個選擇，覺察能力有多有限。

我們對自己為什麼持有某些信念、為什麼採取某種態度、為什麼做出某個選擇、為什麼有某種感受，其洞察既不完全受我們控制，也不完全被我們觀察。它同樣取決於我們被文化傳遞的那套理解，那套被問到時用來解釋的模式。

連我們內省、以為自己能訪問自己想法這件事，也是文化和信念的產物。

把這層和前面幾層疊起來看，會得出一個不太舒服的結論：你以為自己在看世界，其實你在透過自己心智的鏡頭看。這個鏡頭是文化打磨出來的，你以為它能照見自己，它其實照見的是文化教給你的那套解釋。要跳出來，很難，但如果你想往前走，這似乎是必須的。

## 剩下的時間怎麼用

七八年前，McClelland 還在做決策實驗。那類工作有它的滿足感，因為模型擬合資料這件事能給你明確的收束：行或不行，一目瞭然。他也能看到怎麼把預測放到猴子身上檢驗，看清神經元在做什麼。

然後他算了一筆賬：我在這裡大概只剩10到15年了，而做這個層次的工作，感覺自己並沒有在逼近那些真正有趣的問題的答案。

於是他對自己說：好，挑個難的。他開始做數學認知。

計算很直白：可能還有15年有用時間，先當只有10年。現在他快走到那個期限的末尾了，也許還剩三四年。但他感覺自己後面大概還有五年。所以，再給自己六到八年。

期限在逼近，所以不能無限期地做下去。

他怕的是退化，死亡反而排在後頭。看過那些悲劇性的退化過程之後，他這麼說：能繼續參與、能感覺自己站在浪頭拍岸的地方，這是令人興奮的。如果有一天開始患阿爾茨海默病或語義痴呆，他會一點點失去那根線。一個人在失去這些能力、不得不退休之後，還能再活十年。

那才是他最怕的。浪頭散掉，心智不再繁盛，想法不再在裡面遊動、不再能被把玩，也不能再和那些正在把想法推向前的人合作。

至於懸崖盡頭本身，那個謎。McClelland 說，他那種湧現式的、連續式的思考方式，讓他覺得那個轉變的離散性沒有多數人感覺的那麼明顯。

他希望被記住的是：他看到了某條路，那條路對認知心理學家來說比他面前已經鋪好的那條更讓他興奮，而他之所以能看到，並沒有超常的原因，只因為他之前恰好有對的處境，然後他真的跟著那條線索走下去了。

他在 PDP 那本書的序言裡寫過一句話，大意是：科學的快樂，在於一個人頭腦中尚未成形的想法，在對話中被更好地結晶出來，成為某個激動人心的具體科學進展的基礎。

那種時刻發生過。Rumelhart 和他做互動啟用模型的時候發生過。Rumelhart 聽到 Hinton 講梯度下降、講用目標函式引導學習過程的時候發生過。那個時期發生過很多次。他在和學生合作時，也在尋找這種時刻。

## 把理論留給理論家

他最後講了一個故事。

他的博士論文是純實驗的。基於核心的兩個實驗，他寫了一篇論文投出去。論文最後有一小節，他擺出了自己對資料背後機制的理論構想。投的是《實驗心理學雜誌》。

編輯回信說：非常感謝，這些實驗很好，我們很樂意發表。但我們希望你把理論化的工作留給理論家，把那一節刪掉。

他刪了。但他差點因此被貼上"非理論家"的標籤。他本可以認下這個身份：好吧，我的工作就是繼續做實驗。

他沒有。拿到助理教授職位後，他繼續做實驗，因為知道自己得發論文。但第一年結束時，他把那一節拿出來擴充，寫成文章投給了《心理學評論》，那是理論性的刊物。他們也沒接受，但回信說：這很有意思，這次你可以繼續想下去。

就是這句話讓他往前走。他意識到，為理論的發展做貢獻用不著超人天賦，一個凡人也能做。

> 不要屈服於某個審稿人給你貼的標籤。（Jay McClelland）

也不要屈服於任何人貼的標籤。尤其是當你成功之後，標籤會被牢牢貼在那個讓你成功的東西上：聯結主義者、認知科學家、不是神經科學家。那些都是關於過去的故事。你今天是一個新的人，完全可以在全新的領域裡做出徹底不同的東西。

## 意義是自己造出來的

地球上活過上千億人，大家都在忙忙碌碌，好像朝著某個方向。為什麼？

McClelland 的回答是：我們為自己製造意義，也從別人過去製造的意義裡獲得啟發。公元前一千紀的偉大宗教思想家，以及第二個千年早期的一些人，為我們打下了重要基礎。但他相信，我們是某個自然發生的、無引導過程的湧現結果，意義是我們自己造出來的。把意義固化進宗教傳統之類的努力，只是那個目標的一種表達方式。我們要做的事情裡，發現意義是什麼這件事排不上號，自己把它造出來才是重點。

所以它非常個人，非常個體。意義會透過你獨有的那組協同要素來到你身上：你的質地、你的經驗、你的處境。而且它總是在一個具體的地方情境裡被造出來。

McClelland 就在 UCSD，身邊是那位正在對符號人工智慧產生懷疑的、才華橫溢的 Rumelhart，而這種懷疑恰好和 McClelland 自己"要把認知落到生物學上"的渴望共振。他們抓住了那個共振。

從那個小小的口袋裡，長出一種奇特的湧現過程。每一個人都是這樣一種湧現過程：細胞聚到一起，湧現出一個會給自己講花哨故事的東西，並且享受自己講的那些故事的美。

它存在於一段時間，被自己在時間與空間中的那個地方口袋所定義，然後講一些漂亮的故事，我們把故事寫下來，慶祝這些故事有多好，然後它繼續下去，因為我們在彼此的故事上面蓋新故事。最終我們大概會殖民其他行星、其他恆星系、其他星系，講更好的故事。

但這一切都從地球上開始。

## 如果只帶走幾件事

這期對話裡散落著一些可以直接拿去用的東西，它們彼此之間其實是一套連貫的方法論。McClelland 一輩子做的事，幾乎都能從中找到解釋。

- **換問題，而不是換答案。**Hinton 那句"別從生物學裡找規則，先定義你要解決的問題，再想連線權重怎麼解決它"，是整個反向傳播誕生的起點。當你卡住的時候，先檢查自己是不是在錯誤的層面找答案。
- **讓多個約束同時打架。**Rumelhart 的互動啟用模型之所以能成立，是因為它允許自上而下和自下而上的資訊同時互相施壓，收斂出一個知覺。只有單向資訊流的系統，很難產生"理解"這種效果。設計流程、設計組織、設計模型，都可以套這個判斷。
- **警惕你自己的專家盲點。**你在某個領域待得越久，越會有一批"明擺著為真"的東西，而恰恰是這些東西你教不出去。定期去找一個沒受過這套訓練的人，試著把最基本的前提講清楚。講不通的地方，就是你盲點的位置。
- **把事後合理化當成材料，當成證據去用要謹慎。**你對自己為什麼這麼選、為什麼這麼信的說明，是當下編出來的。做重要決定時，別隻依賴內省，去看行為記錄、看外部資料、看別人對你的觀察。
- **給難問題設一個真實的截止期。**McClelland 是算著自己的剩餘年頭，才從舒適的決策實驗轉向數學認知的。舒適的工作會一直給你明確的收束感，但那不等於你在逼近重要的問題。算一下你還剩多少個可以高強度工作的年份，然後決定現在該做什麼。
- **別接受任何給你貼的標籤，包括你自己貼的。**那位編輯讓他把理論留給理論家，他刪了那一節，但沒有刪掉那個念頭。標籤是關於過去的故事，不是關於你的判決。
- **找到那件讓你不由自主的事，然後待在它旁邊足夠久。**McClelland 講他弟弟13個月大就能認出想放哪張唱片，靠的是看唱片上的劃痕。那種共振沒法規劃，但可以留心。它出現的時候，你的任務只有兩個：認出它，別走開。

最後回到那張長椅上的話。邏輯用於證明，直覺用於發現。

McClelland 一輩子在做的事，就是讓這兩件事互相供養：先讓直覺把一個想法推上來，再用形式系統把它磨到能被檢驗、能被傳遞、能成為下一代人的直覺基礎。

他自己也是這麼一個人：從笛卡爾的夢裡醒來，跟著一條不那麼明顯的線索走了五十年，路上帶上了 Rumelhart、Hinton、Crick 和一批學生，然後在語義一點點瓦解的朋友身上，看見自己那套理論最殘酷的一次演示。

他還是說，那是慶祝。