# 約書亞·本吉奧：深度學習 > 深度學習先驅談神經網路的發展脈絡、注意力機制與表示學習的核心思想。 - 原標題：Yoshua Bengio: Deep Learning - 期數：特別節目 - 釋出日期：2018-10-20 - 嘉賓 / 主題：約書亞·本吉奧 - 網頁版：https://lex.qiaomu.ai/tw/ep/yoshua-bengio/ - 官方頁面：https://lexfridman.com/yoshua-bengio/ - 精讀字數：約 7445 字（閱讀約 17 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 一個成年人能回憶起去年做過的某個決定，然後因為今天看到的新證據，回過頭去改變當初的判斷。下次再遇到類似情況，他不會犯同樣的錯誤。當前的神經網路做不到這件事。 Yoshua Bengio 在 2018 年 10 月和 Lex Fridman 對談時，反覆回到這個問題。他把它叫做信用分配（credit assignment）的時間跨度問題。 現有的 LSTM 和各類序列模型，處理幾十到幾百個時間步的依賴還算稱職。跨度再拉長，記憶就開始衰減，效果越來越差。人類卻可以把信用分配延伸到幾乎任意長的時間尺度上。 Bengio 認為這裡有一個被低估的機制：遺忘。人腦會極其高效地篩選記憶，只留下真正重要的東西。什麼能進入意識，什麼被寫進長期記憶，這個選擇過程本身就涉及意識、決策和情緒，遠不是簡單的儲存問題。 > 我們最近研究的一件事，是生物神經網路怎麼做而我們不知道、但對人工網路極其有用的能力：在極長的時間跨度上做信用分配。（Yoshua Bengio） 這種生物做得到、人工做不到的錯位，在他看來是個雙向機會。人工網路裡沒有對應的理論，這促使我們去更好地理解大腦。反過來，大腦的不同做法可能給人工網路提供新思路。 ## 神經網路眼中的世界，比人類淺得多 Bengio 對當前深度學習狀態的判斷很直接。在大規模影象或文字上訓練出來的頂尖網路，確實掌握了一些關於資料集的解釋，但這個理解非常基礎，非常低層。它不夠穩健，不夠抽象，不夠通用。 這個判斷本身不告訴我們怎麼修。但它提示了一個方向：能不能換一種訓練方式，讓網路把注意力放在因果解釋上？現在的神經網路訓練裡，基本沒有這一環。 另一個方向是語言和世界的聯合學習。今天的研究往往把影象影片放一邊，文字放另一邊，各學各的。Bengio 認為應該讓兩邊互相幫忙。要讓網路真正理解一句描述現實世界的句子，它需要一個足夠好的世界模型。反過來，語言輸入能提供線索，告訴網路高層語義概念應該長什麼樣。 > 有證據表明，純無監督學習得到的表徵，不如監督學習得到的高層表徵強大。僅僅靠標籤給出的線索，就已經非常非常高層了。（Yoshua Bengio） 這個觀察值得多停一會兒。很多人預設無監督學習才是通往通用智慧的正路，監督學習只是權宜之計。Bengio 在這裡指出的是，哪怕只有標籤這種極簡的監督訊號，它帶來的表徵質量提升也已經相當可觀。這個事實在討論未來路線時不應該被忘掉。 ## 問題既不在架構，也不在資料集 Lex 問，這到底是架構的挑戰還是資料集的挑戰。Bengio 的回答是：都不是。他開玩笑說自己很想就此打住，但還是解釋了。 資料集和架構當然要一直折騰。但真正關鍵的東西在訓練目標和訓練框架上。 他舉了幾個例子。從被動觀察資料，轉向更主動的智慧體，透過干預世界來學習因果關係。設計合適的目標函式，讓最高層的解釋能從學習過程中自然浮現。設計獎勵探索的目標函式，而且是獎勵正確型別的探索。 這些東西既不在資料集裡，也不在架構裡，而在怎麼學、用什麼目標學這個層面。 談到兒童學習，Bengio 提到他剛和 Rebecca Saxe 聊過。大量來自嬰兒研究的證據顯示，嬰兒會以非常定向的方式挑選自己感興趣的東西。他們會主動把注意力集中在世界上那些最有趣、以非平凡方式令人驚訝的部分。正是這些部分促使他們更新自己對世界的理論。 ## 繼續變大變深有用，但遠遠不夠 Bengio 對堆規模這件事的態度是：會帶來顯著進步，但不夠。 工程團隊、公司、實驗室、研究生會繼續調架構，探索各種小改動，讓當前的最優結果再好一點點。他不覺得這條路能走到終點。真正的目標應該是讓學習者深入理解它所觀察和行動的環境，這需要學習方式本身發生變化。 Lex 追問的是另一個層面的問題：一旦找到透過互動學習的方法，儲存這些資訊需要多少引數？Bengio 承認，要構建具備普通成年人那種廣泛世界知識的神經網路，現在這點算力大機率不夠。好訊息是硬體公司在做神經網路晶片，情況會變好。 但還有一個更尷尬的事實。哪怕是最頂尖的深度學習方法，連非常簡單的環境都學不明白。比如他們搭的一些網格世界（grid world），環境簡單到不能再簡單。用足夠多的例子硬灌，最終能學會。可人類可能只需要幾十個例子，這些系統要幾百萬個。 > 我認為這給沒有 Google 那種算力的學術研究者一個機會，去做真正重要、激動人心的研究，推進訓練框架、學習模型、智慧體學習的前沿，哪怕環境是合成的、看起來很平凡，但當前機器學習就是搞不定。（Yoshua Bengio） ## 常識為什麼編碼不進去 上世紀 80 年代，符號 AI 把知識表示、知識獲取、專家系統當成核心問題來攻。後來這條路基本被擱置了。原因很簡單：它不 work。 但 Bengio 強調，那些目標本身依然重要。他相信經典專家系統失敗的一個原因是，人類擁有的很多知識根本不在意識層面。我們做的很多決定沒法解釋，有時候還會事後編個故事出來。而這類知識恰恰是機器做決策時也需要的。它很難被寫成規則，很難塞進專家系統和經典 AI 的形式化框架裡。 老 AI 還有其他問題，比如處理不確定性的手段不夠好。不過 Bengio 認為更深層的問題在於分散式表徵（distributed representations）。 神經網路的威力來自一大團引數緊密協作，共同表示網路知道的所有東西。這種表示方式在符號世界裡很難復現。專家系統裡的知識被整齊地拆成一堆規則，每條規則各管一攤。神經網路是反過來的。 問題就在這裡：它不夠因子化（factorized）。Bengio 認為這是當前神經網路的一大弱點。我們需要從經典 AI 那裡取經，把語言和規則裡那種組合性（compositionality）引進來，而組合性在神經網路裡並不天然存在。 ## 變數要解耦，規則也要解耦 順著這個思路，就繞不開解耦表徵（disentangled representations）。 Bengio 很多年前就在想這件事，至今仍然相信它重要：設計一種學習演算法，不管無監督、監督還是強化學習，讓表徵裡的重要因素，最好是因果因素，被清晰地分開，容易從表徵裡提取出來。用一句話概括，就是把資料變換到一個空間，讓一切變得簡單，簡單到用線性模型就能學會我們關心的東西。 但他現在覺得，這個想法漏掉了一個關鍵成分。而這個成分，經典 AI 系統可以提醒我們。 假設我們有了解耦表徵。變數之間還是需要學習它們的關係。這些高層語義變數不會彼此獨立，它們之間有有意思的關聯，能用來預測未來、解釋過去。 在經典 AI 裡，這種關於變數關係的知識編碼在規則裡。一條規則就是一小塊知識，說的是這幾個變數以某種方式關聯，知道其中幾個就能推斷另外幾個。 所以，除了把表徵裡的元素解耦（相當於規則系統裡的變數），還需要把連線這些變數的機制解耦，也就是規則本身。 > 規則是各自獨立的。我因為學習而改動一條規則，不需要破壞其他規則。而當前的神經網路對災難性遺忘非常敏感，學了新東西之後，舊東西可能被毀掉。如果知識被更好地因子化、分離、解耦，很多這類問題就能避免。（Yoshua Bengio） Bengio 承認，在感官層面做不到這件事。畫素空間裡，資訊以極其複雜的方式糾纏在一起，變數之間完全相互依賴，計算也交織在一起。但他假設，在合適的高層表徵空間裡，變數和變數之間的關係都可以被解耦。這會帶來巨大的泛化能力。 ## 人類怎麼讀懂一本科幻小說 泛化能力，指向的是當前機器學習一個根本弱點：它預設測試集分佈和訓練集分佈相同。 它沒法告訴我們，一個神經網路面對新分佈時會表現如何。有人會說，不知道新分佈長什麼樣，當然沒法預測。但人類就是能泛化到新分佈。憑什麼？ Bengio 給了一個很具體的例子。你讀一本科幻小說，小說把你帶到某個外星球，表面上一切都很不一樣。但物理定律還是那套。你能讀懂這本書，理解發生了什麼。因為你可以把在地球上學到的關於底層因果關係、物理機制甚至社會互動的知識遷移過去，於是這個視覺上完全陌生的星球變得可以理解。 > 這些新分佈雖然看起來可能和訓練分佈非常不同，但它們有共同的東西。（Yoshua Bengio） 這段話背後的意思值得琢磨。當前機器學習缺少的，正是一種能夠捕捉底層因果機制、從而遷移到新分佈的模型。訓練分佈和測試分佈共享的那些東西，就是人類泛化能力的來源。 ## 短期的風險，比天網更值得擔心 Lex 把話題轉向 AI 安全。他提到，在 AI 圈子之外，有相當大一群人擔心人工智慧的存在性威脅。 Bengio 先做了一個區分：AI 圈子內部該有的討論，和真正對公眾重要的討論，是兩回事。 終結者式的畫面，AI 失控殺人，超級智慧不惜一切代價毀滅人類，這些對公眾討論幫助不大。他認為真正重要的是短期和中期那些大機率會發生的負面影響。安全層面的老大哥場景，人臉識別，致命性自主武器。就業市場受到的衝擊。權力集中和歧視。這些社會問題裡，有些真的可能威脅民主。 他特別澄清了一句，說的 killer robots 指的是自主武器系統。 至於存在性風險，Bengio 的措辭很謹慎。對他個人而言，這類風險極不可能發生，但仍然值得學術界研究，就像研究隕石撞擊地球的可能性一樣。AI 失控這類場景，和他所理解的當前機器學習、當前神經網路是對不上的，他覺得不成立。但他也承認自己沒有水晶球，誰知道 50 年後的 AI 是什麼樣。 > 科學家應該研究這些問題。只是對我來說，它不是緊迫問題。（Yoshua Bengio） ## 科學不是一個人在黑屋子裡搞出來的 談到《機械姬》（Ex Machina），Bengio 說自己有喜歡的地方也有討厭的地方。討厭的是，這部電影對科學的描繪完全錯了。 科學不是在某個隱秘的地方、由某個絕頂聰明的人獨自完成的。這完全不現實。就算是一群人在一個與世隔絕的地方，也做不成。科學靠的是大量研究者組成的社群互相協作，一小步一小步往前走。所有領域內的專家，包括工業實驗室裡的，大致都知道正在發生什麼，資訊會流動，會洩露。電影里科學的那種氣質和真實情況差得很遠。 Lex 追問：到目前為止，即使研究發生在 Google 或 Facebook 內部，想法最終還是會流出來。AI 會一直這樣嗎？有沒有可能把想法捂得嚴嚴實實，某些突破完全不為外界所知？ Bengio 的回答是：有可能，但不太可能。現在不是這麼運作的，在可預見的未來他也看不到這種可能。但他再次強調，他沒有水晶球。 他借這個話題講了一個更重要的原則：研究需要多樣性。 研究是在想法空間裡的探索。不同的人關注不同方向。這不只是好事，是必需的。他對別人探索和他相反或正交的方向完全接受，甚至覺得這很重要。他和他的朋友們不聲稱自己掌握了關於未來的普遍真理。 > 我們有我們的直覺，然後據此行動，選擇我們認為最能發揮作用、社會收益最大或損失最小的地方。我們應該有這些爭論，而不是最終走到一個只有一種聲音、一種思維方式的社會，研究經費也被集中分配。（Yoshua Bengio） 分歧是好的研究、好的科學的標誌。Lex 提到，討論到一半燈滅了，他覺得這有點不祥。這個插曲和 Bengio 講的科學觀放在一起，倒有點意思。 ## 偏見能修，但需要強制 關於機器學習中的偏見（bias），Bengio 分短期和長期來看。 短期，已經有技術被提出來，而且會繼續改進。對於那些已知存在偏見的資料集，偏見是可以被測量的。任何記錄了人類決策的資料集，幾乎都帶有某種偏見，對特定群體的歧視等等。可以用機器學習技術構建偏見更小的預測器、分類器。比如用對抗方法，讓系統對那些它本不該敏感的變數變得不敏感。 這些方法有明確的定義，也有弱點，還需要更多研究。但 Bengio 認為它們已經足夠成熟，政府應該開始監管那些偏見真正要緊的公司，比如保險公司，強制它們使用這些技術。 > 這些技術很可能會減少偏見，但有代價。比如預測可能變得不那麼準，公司不會主動去做，除非你強制它們。（Yoshua Bengio） 長期，他感興趣的是怎麼把道德價值觀灌輸進計算機。這顯然不是未來五到十年能實現的。目前已經有工作在做影象、聲音、文字中的情緒檢測，也在研究不同智慧體以不同方式互動時，怎樣對應到不公正的模式，進而觸發憤怒。 Bengio 說，最簡單的情形就是不公正的場景觸發憤怒，這是人類和其他動物共有的最基本的情緒之一。他判斷，未來幾年內構建能檢測這類情況的系統是可行的，前提是系統對周圍世界有足夠的理解，而這本身還很遙遠。可以先在虛擬環境裡做。設想一個電子遊戲，智慧體們以某種方式互動，某些情境觸發情緒，訓練機器去檢測這些情境，並預測如果玩家操控其中一個角色，大機率會感受到哪種情緒。 ## 從標註到機器教學 Bengio 對無監督學習投入很多，但他也承認監督學習這條線取得了大量成果。他真正在意的一個方向是人類和機器人如何協作，放在監督學習的語境裡，就是標註（annotation）過程。 Lex 把這個問題換了個說法：人類教機器。Bengio 覺得這個說法很好。把問題簡化成標註，對明天就要搭系統的人有用。但更長遠看，教學這個過程本身值得機器學習社群投入多得多的注意力。 已經有人提出了機器教學（machine teaching）這個詞。好的教學策略是什麼？能不能設計並訓練一個系統，讓它成為好老師？ Bengio 的組裡有一個叫 BBI 的專案，一個遊戲或場景，裡面有一個學習智慧體和一個教學智慧體。教學智慧體最終應該由人類來扮演，但現在還沒到那一步。老師的職責，是利用它對環境的瞭解（可以透過任何粗暴的方式獲得），幫學習者儘快學會。學習者自己嘗試，可能會探索。老師可以影響和學習者的互動，引導學習者，比如教它最吃力的部分，或者找到它已知和未知之間的邊界。 > 未來會有越來越多人在環路中的人機互動。理解怎麼讓這件事運作得更好，圍繞它的所有問題都很有意思，而且沒有得到足夠的關注。（Yoshua Bengio） ## 對話裡最難的是語言之外的東西 Lex 問 Bengio，傳統圖靈測試裡，對話的哪個部分在他看來最難解決。 Bengio 的答案是：一切和語言之外的知識相關的東西。這些知識是你理解句子時隱式需要的。他舉了 Winograd schema 的例子，這類句子語義上有歧義，必須對世界有足夠的瞭解才能真正正確解讀。 這類挑戰有意思的地方在於，它指向的是同時理解世界如何運作、理解世界中的因果關係，並且把這種知識和語言表達方式關聯起來的系統，無論閱讀還是寫作。 Bengio 的母語是法語。Lex 問，透過圖靈測試以及背後那些挑戰，會不會依賴於具體語言，法語會不會比英語容易？Bengio 認為和語言無關。他希望構建的系統能用同樣的原則、同樣的學習機制從人類智慧體那裡學習，不管對方用什麼語言。 他承認語言之間有差異，也許某些語言在某類表達上稍微強一點。但在理解大腦如何工作、理解語言這件事的大框架下，這些差異很細微。 ## AI 寒冬裡靠什麼撐過來 Bengio 經歷過 AI 寒冬。Lex 問他怎麼保持熱度、繼續研究。他的回答很簡潔：和朋友一起取暖。 他從這段經歷裡學到的，是聽從內心的聲音。不要只想著取悅人群和時尚。如果你對某件事有強烈的直覺，而且它沒有被實際證據推翻，就去做。它可能被別人否定，但不該被自己的直覺否定，前提是直覺建立在學到的一切之上。 當然，當實驗和信念衝突時，必須調整信念。但該堅持的時候要堅持。正是這一點讓他走過那些年，讓他在那些需要時間成熟、需要時間結果的方向上堅持下來，不管別人怎麼想。 > 聽從你內心的聲音。不要只想著取悅人群和時尚。如果你對某件事有強烈的直覺，而且它沒有被實際證據推翻，就去做。（Yoshua Bengio） ## AlphaGo 時刻被高估了 AI 的歷史上有技術突破，也有那些抓住整個社群想象力的標誌性事件。最近的例子是 AlphaGo 擊敗人類圍棋世界冠軍。 Bengio 覺得這類所謂標誌性事件被高估了。科學真正靠的是一小步一小步走。你多走了一小步，正好是裝滿水桶的那一滴，然後產生劇烈後果，因為你突然能做到之前做不到的事，或者某個裝置、某個問題的成本降到比現有方案更低，新市場開啟了。在商業和應用世界裡，一點科學進步的影響可能巨大。但在科學本身裡，它是非常非常漸進的。 那麼現在這些小步發生在哪裡？Bengio 點了兩個最難的方向：生成對抗網路（GANs）和強化學習。 蒙特利爾尤其如此，兩三年前強化學習在這裡幾乎缺席，現在學生興趣很大，像他這樣的人興趣也很大。這個方向會看到更多進展，儘管它還沒有帶來多少實際的工業產出。就算有 AlphaGo，Google 現在也沒靠它賺錢。但長期看，它非常重要。 他更願意把強化學習理解為更一般的智慧體學習，因為不一定非要有獎勵，智慧體可以透過各種方式瞭解環境。 至於 GANs，或者更廣的生成模型，Bengio 相信它們會是構建能理解世界的智慧體的關鍵成分。過去強化學習的很多成功用的是策略梯度（policy gradient），直接學一個策略，不學世界模型。但這種方法問題很多。基於模型的強化學習（model based RL）現在還不知道怎麼做，但這是必須走的方向，為了構建能更快更好地泛化、至少能部分捕捉世界底層因果機制的模型。 ## 科幻小說領進門 最後一個問題。是什麼讓 Bengio 愛上人工智慧？回頭看，生命裡第一個讓他著迷的瞬間是什麼？ 他十幾歲的時候讀了很多書，後來開始讀科幻小說。就是那裡，他被鉤住了。再後來，他有了最早的幾臺個人電腦，又迷上了程式設計。從科幻開始，然後把它變成現實。 ## 給讀者的行動建議 - 如果你想進入 AI 研究但算力有限，別隻盯著大模型。Bengio 明確說，簡單的網格世界、合成環境裡，當前機器學習都搞不定，這裡面有大量重要問題等著被解決，對學術研究者是機會。 - 關注訓練目標和訓練框架，不要只在架構和資料上做文章。主動智慧體、干預世界學習因果、獎勵正確型別的探索，這些方向比繼續加深網路更可能帶來質變。 - 讀一讀經典 AI 關於知識表示和規則系統的工作。Bengio 認為神經網路的弱點是不夠因子化，組合性要從經典 AI 那裡借。變數要解耦，連線變數的機制也要解耦。 - 做研究時保留多樣性，接受和自己方向相反或正交的探索。分歧是好的科學的標誌。 - 如果你想做 AI 倫理或安全，把重心放在短期和中期影響上：人臉識別、自主武器、就業衝擊、權力集中、歧視。這些比存在性風險緊迫得多。 - 在偏見問題上，短期可以推動企業採用對抗方法等技術，並呼籲政府在保險等關鍵領域強制監管。代價是預測精度可能下降，所以需要外力推動。 - 留意機器教學這個方向。未來會有越來越多人在環路中的人機互動，怎麼教一個學習智慧體，是一個被低估的問題。 - 如果你在 AI 寒冬或低谷期，Bengio 的建議是：聽從內心聲音，堅持有證據支援的強直覺，別隻想著取悅潮流。