# 揚·勒昆：深度學習、卷積神經網路與自監督學習 > 卷積神經網路奠基人談深度學習的發展歷程、自監督學習的潛力，以及通往更通用智慧的可能路徑。 - 原標題：Yann LeCun: Deep Learning, Convolutional Neural Networks, and Self-Supervised Learning - 期數：特別節目 - 釋出日期：2019-08-31 - 嘉賓 / 主題：揚·勒昆 - 網頁版：https://lex.qiaomu.ai/tw/ep/yann-lecun/ - 官方頁面：https://lexfridman.com/yann-lecun/ - 精讀字數：約 7589 字（閱讀約 17 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 你的兩隻眼睛加起來有 200 萬根神經纖維通向視覺皮層。揚·勒昆（Yann LeCun）說，他可以用一個幾乎算得上是數學證明的方式，告訴你人類的智慧根本談不上"通用"。 他把這個思想實驗講給 Lex Fridman 聽：切斷視神經，中間插一個裝置，把所有神經纖維做一個固定但隨機的置換。進來的還是那 100 萬位元資訊，只是順序被打亂了。就算你從嬰兒時期就這麼接，你的視覺皮層也不可能學會正常水平的視覺。原因很直接，原本在真實世界裡緊挨著的兩個畫素，被隨機打亂後會投射到皮層裡相隔很遠的位置，而那裡的神經元之間根本沒有連線。 換句話說，大腦的硬體結構本身就是為了適配真實世界的規律而長出來的。它做了大量先天的假設，視覺皮層的區域性連線假設了"近處的畫素比遠處的畫素更相關"，這個假設刻在結構裡，學不來。 ## 一百萬個二值輸入能產生多少種函式 LeCun 把賬算得更細。假設視覺皮層的輸入是 100 萬個二進位制位，你想訓練它識別某個特定模式，這本質上就是一個布林函式，100 萬位輸入，1 位輸出。 這種函式一共有多少個？2 的 2 的 100 萬次方個。這個數字大到沒法想象，宇宙裡的原子總數在它面前等於零。 而人類皮層實際能計算的這類函式有多少？**只是這個空間裡窄到不能再窄的一條縫。** LeCun 由此得出一個結論：我們之所以覺得自己通用，是因為我們只能想象自己夠得著的那些任務。**存在一個巨大的世界，那裡面的東西，我們根本沒有被"接線"去感知。** 他順手給了個物理學的類比。一盒氣體，你可以寫出壓強、溫度、體積的關係式，理想氣體定律，幾個位元就夠了。但整個系統的完整資訊，是每一個分子的位置和動量，那是個天文數字。你搞不清楚的那部分，物理學家叫它熵，你感受到的它叫熱。氣體分子的運動很可能有極強的內部結構，只是我們的感知通道壓根不處理這個尺度。 > 通用，是對我們能想象的一切而言，而我們能想象的東西，只是所有可能的東西里極小的一個子集。（揚·勒昆） 所以他說，乾脆就叫它人工智慧得了。一旦給"人工"後面加上"通用"或者"人類水平"，討論就變得沒法收場，因為沒有人能定義清楚人類智慧到底是什麼。他的替代方案很樸素：**能展示出令人叫絕的智慧就行，別急著貼標籤。** ## 讓他自己都意外的事：那些教科書全都說錯了 Lex 問，深度學習裡最讓你覺得美妙或者意外的想法是什麼。 LeCun 說，與其說是想法，不如說是一個經驗事實：**你可以搭建一個巨大的神經網路，用相對很少的資料去訓練它，用隨機梯度下降，然後它居然真的能跑起來。** 這件事把每一本教科書都推翻了一遍。書上說引數數量不能超過樣本數量，不然就過擬合。書上說非凸的目標函式沒有收斂保證，要繞著走。書上說深度學習的一切都是禁區。 他講了一個更早的類比。19 世紀末有一批人用數學證明了比空氣重的飛行器不可能飛起來。可鳥就在天上飛。從經驗上看，這個證明顯然是錯的。 他承認自己在這件事上有點"事後諸葛"：在讀那些教科書之前，他就覺得大網路加梯度下降是個好主意，是後來讀了書才覺得驚訝。他還補了一句真心話，**他相信學習這件事，最初的一個動機是自己懶。**能自動化的事情為什麼不自動化？學習就是智慧的自動化。 順著這個邏輯，他對"推理"的看法也就順理成章了。他說神經網路當然能推理，問題只在於**你需要往網路裡塞進多少先天的結構**，人類式的推理才能從中湧現出來。而他堅持的一件事是，**離散的、基於邏輯的推理模型跟梯度學習天生不相容。** > 電腦科學講究的是對細節的強迫症式關注，每個下標都必須對，你要能證明演算法是正確的。機器學習是馬虎的科學。（揚·勒昆） 他半開玩笑地說，這大概是深度學習一直被很多電腦科學家用懷疑的眼光看待的原因，它的數學來自控制論和電氣工程，跟電腦科學不是一套東西。 ## 推理長什麼樣：工作記憶加能量最小化 LeCun 承認，如果他有精確的方案，現在就在造了。但他能說清楚需要哪些零件。 第一件是工作記憶。大腦裡有三種記憶：皮層狀態的記憶二十秒就沒了；海馬體負責中期記憶，比如你今天走進這棟樓，記得電梯在哪、出口在哪，那是一張存在海馬體裡的地圖；長期記憶存在突觸裡。想要一個能推理的系統，你需要一個像海馬體一樣的模組，能短期存下一批事實性的、片段性的資訊。記憶網路、記憶機器、還有現在的 Transformer，都可以看成這個方向上的嘗試。 第二件是能反覆訪問這個記憶、把資訊取出來嚼一遍、再放回去的網路。因為**推理是一連串的迭代操作，是一個迴圈的過程。**Transformer 有注意力這個雛形，但層數固定，迴圈不夠，所以它能裝下的知識有限。光把記憶網路放大到能裝下整部維基百科，是行不通的。 第三件是另一種更古典的推理形式，他叫它能量最小化。給系統一個能量函式，能量高代表情況糟，能量低代表情況好。如果你對自己身體的模型足夠好，對環境的模型足夠好，你就可以做規劃，這在最優控制裡叫模型預測控制。你在腦子裡跑一遍"如果我這樣動會怎樣"，找出一條既少撞東西、又少費力氣的動作序列。 他還提到一個他欣賞的思路。Geoff Hinton 主張了幾十年的事：**用向量替換符號，用連續函式替換邏輯。**符號和邏輯跟學習不相容，向量和連續函式相容。Facebook 的同事 Léon Bottou 十年前寫過一篇《從機器學習到機器推理》，核心是讓學習系統能在一個內積空間裡操作物件，再把結果放回同一個空間。這個工作記憶式的設計，本質上是在學一個簡化版的專家系統。 至於幾十年前那批專家系統和邏輯知識圖譜，LeCun 的評價非常直接：**太僵、太蠢。**真正致命的地方在於知識獲取。你要靠人去把知識編碼成規則和圖，這件事在工程上根本不可行。 ## 因果性是個謎，連物理學家都不相信它 Lex 提到 Judea Pearl（朱迪亞·珀爾）的批評：現在的神經網路學不會因果關係。LeCun 說這個批評對了一半，也錯了一半。如果是說經典的前饋網路，那確實，但現在已經有一批人在做因果方向的工作。 不過他真正想說的是更深一層的東西。**你跟物理學家聊因果，物理學家會說他不信因果，因為基本物理定律全都是時間可逆的。**因果性裡那個"時間箭頭"是不是真實存在，還是宏觀系統裡不可預測的隨機性湧現出來的東西，這在物理學裡本身就是個大謎題。 人類自己也不擅長判斷因果。他舉了一個例子，出自與 Marvin Minsky 合著《感知機》的 Seymour Papert 的研究：你問一個四五歲的小孩，風是怎麼來的？很多孩子想一會兒會說，是樹枝在動，樹枝一動就產生了風。**他們把因果關係搞反了**，因為他們的物理直覺還沒建立起來。 LeCun 順著這個繼續說，人類整體在因果判斷上被自己騙了幾千年，凡是解釋不了的事情，就歸因於某種神性。這是一種集體性的因果錯覺。 ## 90 年代為什麼沒人做神經網路了 Lex 問，為什麼 90 年代大家對神經網路失去信心，十多年後才重新撿起來。 LeCun 給的原因非常工程。**當年要讓神經網路跑起來，本身就是件極難的事。**你要用自己順手的語言實現反向傳播，而那個語言不是 Python，不是 Matlab，這些東西都還不存在。你可能得用 Fortran 或者別的什麼來寫。 然後你會犯一堆最基礎的錯誤。權重初始化得亂七八糟，從教科書上讀到"不能有太多引數"，於是把網路搞得特別小，訓練資料也只有 MNIST 那麼一個可用的資料集。結果它一半的時候能跑通，一半的時候跑不通。你就放棄了。 他說，**要讓這東西工作，你得知道一整套的招數和技巧**，或者你得自己重新發明一遍。很多人既不知道，也沒想到去發明，於是就是做不出來。 他還回憶了自己當年在貝爾實驗室的經歷。團隊寫了一個 Lisp 直譯器，接上自己寫的神經網路庫，1991 年前後搞出了"模組化"這個思路，每個模組自己知道前向和反向傳播，然後用圖把它們連起來。後來為了做字元識別產品，他們甚至給這個直譯器寫了一個編譯器，可以直接編譯成 C 語言，變成一個自包含的系統。他笑著說，**今天還沒有哪個框架能做到這件事，不過快了。** 然後是那個致命的外部因素。90 年代中期在 AT&T 工作，**律師絕不可能允許你把這種東西開源放出去。**程式碼可以跑，但不能分發。別人沒法用，也就沒法信。 ## 一項專利、一個笑話和二十多年的躲貓貓 Lex 問起卷積神經網路的專利，LeCun 講了一段很荒誕的往事。 第一個專利是早期的卷積網路版本，還沒有獨立的池化層。第二個是帶獨立池化層、用反向傳播訓練的卷積網路，大概是 1989、1990 年前後申請的。當年專利保護期是 17 年。 1994 年，基於這套網路的手寫數字識別系統部署到了 ATM 機上。1995 年，更大規模的支票讀取系統進入了後臺處理。這些系統由 AT&T 的一個工程團隊開發，由 NCR 商業化，而 NCR 當時是 AT&T 的子公司。 1995 到 1996 年 AT&T 分拆。**律師們把專利翻了一遍，把它們分給各家子公司。**因為 NCR 實際在賣用到這個技術的產品，卷積網路的專利就劃給了 NCR。但 NCR 上上下下沒人知道卷積網路是什麼東西。 接著是 LeCun 那段最有意思的自述。1996 到 2007 年這個專利有效期內，他 2002 年左右重新開始做卷積網路，**一邊做一邊祈禱沒人會發現，結果真的沒人發現。** 他對軟體專利本身的態度也很明確：不相信這類專利。他提到 Facebook 和 Google 的做法，申請專利圖的是防禦，平時大家約定俗成互不告狀，除非你先告我。 他把這件事放到了更大的背景裡。**現在 Facebook、Google、微軟真正面對的問題，跟誰比誰領先沒什麼關係，是大家都沒有技術去做真正想做的那些東西。**沒有哪家公司壟斷了好想法，也不需要壟斷。如果一家創業公司告訴你他們掌握了通往人類水平智慧和常識的秘密，別信，他們沒有。 ## 自監督學習才是他真正在意的事 講到這兒，LeCun 亮出了他真正的立場。**他認為自監督學習（self-supervised learning）是當前最重要的問題。** 他特意把"自監督"和"無監督"區分開。用"無監督"這個詞，外行會以為機器可以不要老師自己學，會問"那家長在哪"。而實際上，自監督用的演算法和監督學習是同一套，區別只在於**訓練的目標是去重建輸入裡被遮住的那一部分，而不是預測人類標註好的標籤。** 給它一段影片，讓它預測接下來會發生什麼。給它一段文字，把 15% 的詞挖掉，讓它把詞填回來。BERT 這類模型就是這麼練出來的，它預測的是文字中間被摳掉的洞。**目前自然語言處理裡最成功的模型，全都是自監督的。** 但這裡有個關鍵的不對稱。同樣的套路在語言上很好用，到影象和影片上就卡住了。 原因是**不確定性怎麼表達**。語言裡預測被挖掉的詞，可能性其實很有限，詞表也就十萬個詞，機器吐出一個大的機率向量就行，0 到 1 之間的數字，我們很會處理。 影象不一樣。你遮住一塊圖，讓系統重建，可能的答案有一大堆，而且全都合理。影片更糟。Lex 和 LeCun 對坐的時候，LeCun 的頭基本沒怎麼動，但他隨時可能往左轉或往右轉。**如果你用平方誤差去訓練，機器學出來的會是一張"所有可能未來位置的平均臉"，一張糊掉的臉，這不是好的預測。** 所以問題變成：**怎麼讓機器輸出"一整套可能的答案"，而不是單個答案。**LeCun 說他知道這件事必須解決，但他不認為自己已經知道解法。 ## 主動學習沒有那麼神，強化學習慢得離譜 Lex 提到主動學習，讓機器在不確定的地方主動向人求助。LeCun 的回答很剋制。 **他認為主動學習不會帶來變革性的價值，只會讓已經能做的事效率更高一點。**他也不是說它沒用，比如你有三千小時的駕駛模仿資料，大部分無聊得很，挑出最有資訊量的 10%，可能效果一樣。但那是一種弱化的學習，不會帶來質變。 他更想強調的是**深度強化學習慢得離譜**。最先進的無模型強化學習，玩 Atari 遊戲要達到人類 15 分鐘的水平，需要訓練 80 小時。AlphaStar 打一個地圖、一種對手，跟自己對戰，達到超人類水平，相當於練了 200 年。 把這些演算法直接用到自動駕駛上會怎樣？車大概要開幾百萬小時，**撞死幾千個行人，撞上幾千棵樹，衝下懸崖好幾次，才能自己琢磨明白那是個壞主意。** 他說，這不是動物和人的學習方式，**中間缺了一塊極其重要的東西。** 那塊東西就是**世界模型**。人學開車一般二三十個小時就夠了，而且一次都沒撞過。因為你已經有了一套直覺物理：你開在懸崖邊，知道方向盤往右一打車就會掉下去，沒什麼好事。這套模型在嬰兒八九個月大的時候就裝好了，嬰兒會把玩具往地上扔，然後盯著看，他這是在做實驗，在學習重力。 這也是他過去五六年一直在推的路線：**基於模型的強化學習**。你要學的是世界的模型，模型的物理在哪兒都通用，從嬰兒時期就一直在學。真正需要試錯的部分很少，大部分知識是可遷移的。 ## 關於自動駕駛：工程師會贏一陣，學習會贏到最後 Lex 提到 Elon Musk 相信大規模資料和深度學習能解決自動駕駛。 LeCun 說深度學習肯定是方案的一部分，但他想講一個規律。**在工程史上，一項技術通常先經歷一個"手工搭建"的階段，然後是"少量學習"的階段，最後逐步讓位於"大量學習"。**字元識別、語音識別、計算機視覺、自然語言處理，全都是這麼演進的，自動駕駛也會一樣。 當前最接近"無人干預"的方案，是**把世界約束到極小**。只在鳳凰城那一百來平方公里的範圍跑，天氣好，路寬。車上裝一堆昂貴的鐳射雷達和感測器，消費者買不起，車隊用還湊合。把其他所有能手工工程化的部分工程到極致，**把整個地圖先掃描下來，做成精確模型，感知系統只需要處理那些地圖裡沒有的移動物體和施工。** 這套路能跑通，但它不是終局。長期看，**學習會成為整個系統的核心。** 順著這個，Lex 問他怎麼看那些動不動就說自己接近人腦的方案。LeCun 重複了他一貫的態度：**別信。**他以前寫給別人的建議是，誰跟你說他解決了通用人工智慧，或者說他搞明白了大腦是怎麼工作的，你就問他一個具體問題：在 MNIST 或 ImageNet 上錯誤率是多少。這句話現在有點過時了，因為基準換了，但背後的哲學沒變：**一個想法必須能被某個任務驗證，哪怕那個任務是玩具級別的。** 他承認玩具問題很有用。當年 FAIR 的 Weston 等人提出的 bAbI 資料集就是個玩具任務，用來測試機器的推理和工作記憶，水平是半真半假的，但很說明問題。他只是很反感有錢的投資人被"我們發現了皮層的演算法，給我們五千萬"這種話忽悠。 ## 智慧系統可以蠢在三個地方 LeCun 給了一個他描述智慧體時常用的框架：一個自主智慧體需要三樣東西。 第一是**世界模型**，能預測"如果我在 t 時刻做某個動作，t+1 時刻會變成什麼樣"，而且給出的不是唯一答案，是一個帶不確定性的分佈。第二是**目標函式**，你想要最佳化什麼，抓到這個物體、花最少力氣、不要撞東西。第三個是**一個能根據模型和目標，算出最佳動作序列的模組**，你可以叫它策略網路。 有意思的是，他認為**缺了其中任何一個都會以不同的方式變蠢。** **第一種蠢是模型錯了**，對世界的理解不準。**第二種蠢是目標函式錯了**，你要的不是你真正想要的，他說這種人在人類身上有個名字叫精神病態。**第三種蠢是模型對、目標也對，但算不出該怎麼行動。** 他補了一句讓全場都笑的話：有些國家的領導人，三樣都是錯的。 Lex 接著問他對 Sophia 那個機器人的看法。LeCun 說他本身對 Sophia 作為一個裝置沒意見，**問題在於它被呈現成了別的東西。**公眾會以為 Sophia 能做的遠遠超出它實際能做的，而創造者在公開場合並沒有如實溝通。他覺得這類炒作極其有害，看到一次他就要說一次。 然後他把話題拉回到本體（embodiment）上。**他並不認為智慧必須有身體，但他堅持必須有"根基"（grounding）。**機器要真正理解語言，必須在現實世界裡紮下根。語言不是一種高頻寬的媒介，用語言描述世界，很多資訊根本傳不過去。 他用 Winograd 句式舉例：獎盃放不進行李箱，因為它太大了；獎盃放不進行李箱，因為它太小了。第一句的"它"指獎盃，第二句的"它"指行李箱。你能分辨，靠的是你知道"大的東西放不進小的東西"這個關於幾何、關於大小、關於兩個物體該誰裝誰的常識。**這些知識不可能全靠讀文字學來。** 所以常識會從大量的語言互動中長出來，但也需要看影片，需要在虛擬環境裡互動，也許還需要機器人在真實世界裡動手。他說最後這一條不一定絕對必要，但**某種根基是跑不掉的。** ## 恐懼來自不確定性 談話最後聊到情緒。LeCun 的模型把基底核（basal ganglia）看成計算你"滿足感"的模組，另有一個模組專門預測你未來會不會滿足，那是情緒的來源之一。 他給了一個很漂亮的觀察：**恐懼來自不確定性。**你有某種模糊的感覺，覺得壞事有可能發生，那就是恐懼。而當你百分之百確定壞事情要來了，恐懼反而消失了，那時候人就不再掙扎了。 用他的框架翻譯：情緒是驅動力和水位表的結果，它長在智慧內部，不在智慧旁邊。想要有真正接近人類的智慧，那就得連情緒一起設計進去。 Lex 最後問：如果造出了一個人類水平的智慧體，你會問它什麼問題？ LeCun 說，最先造出來的那個大概不會太聰明，可能就四歲小孩的水平。所以要問那種能暴露常識水平的問題。比如問它風是怎麼來的，如果它答"樹枝在動所以產生了風"，那它其實一竅不通；如果它說"這問題太蠢了"，那說明它可能真懂；然後你告訴它正確答案，它說"哦，有道理"，那才算過關。 從 HAL 9000 聊到嬰兒扔玩具，這場對話裡最動人的地方其實是 LeCun 反覆回到的那個詞：**觀察**。嬰兒在觀察重力，嬰兒在觀察物體是否會掉落，嬰兒在觀察樹枝和風。人工智慧最缺的那塊拼圖，可能就藏在一個八個月大的孩子往地上扔勺子的那個動作裡。 ## 對做 AI 的人，這期訪談能拿走什麼 - 如果你在做人臉、影象、語音、自動駕駛或者醫療影像，**把"自監督預訓練加少量標註微調"當成預設路線**。真正該看的指標是達到同樣準確率所需要的標註樣本減少了多少倍，這才是這場方法變革的度量單位。 - 做預測類任務時，**先檢查你的模型是不是在輸出"所有可能未來的平均"**。如果影象或影片的預測結果是糊的，那不是訓練不夠，是損失函式在逼模型取均值。這是眼下影片自監督裡最硬的技術障礙。 - 如果你手上有一份手工搭起來的系統，**不要指望一步換成端到端學習**。按 LeCun 的工程史規律，先約束場景、再逐步讓學習接管，是更現實的路徑。自動駕駛如此，很多工業系統也如此。 - 判斷一個 AI 團隊靠不靠譜，**問他們最近在哪個公開基準上出過數**。即便是玩具級別的任務，也比"我們搞懂了大腦"這類敘述可信。看到沒有可驗證結果的誇大宣傳，公開指出來。 - 搭 Agent 類系統時，**把三個模組分開設計**：世界模型負責預測未來，目標函式定義你要什麼，規劃模組負責怎麼去做。三塊混在一起調，出了問題你分不清是模型錯了、目標錯了，還是搜尋不出解。 - 如果你在做面向 C 端的產品，**不要用 Sophia 那套方式營銷**。短期能騙到流量，長期損害整個行業的信任度，也會讓真正的技術進展被公眾誤讀。 - 如果你在研究推理，**別再往符號和邏輯的方向加碼**。LeCun 的判斷是，離散邏輯和梯度學習在數學上不相容。值得下注的方向是向量化的工作記憶，加上能讓網路反覆讀寫記憶的迴圈機制。