# 于爾根·施密德胡伯：哥德爾機、元學習與 LSTM > LSTM 提出者講述迴圈網路的歷史、元學習構想與對智慧本質的長期思考。 - 原標題：Juergen Schmidhuber: Godel Machines, Meta-Learning, and LSTMs - 期數：特別節目 - 釋出日期：2018-12-23 - 嘉賓 / 主題：于爾根·施密德胡伯 - 網頁版：https://lex.qiaomu.ai/tw/ep/juergen-schmidhuber/ - 官方頁面：https://lexfridman.com/juergen-schmidhuber/ - 精讀字數：約 10616 字（閱讀約 24 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 十七歲那年，于爾根·施密德胡伯（Juergen Schmidhuber）想清楚了自己這輩子要做什麼。他原本的答案是去當物理學家，去破解宇宙之謎。後來他發現還有一件更宏大的事：造一臺機器，讓它學會成為一個比他所能成為的、好得多的物理學家。這樣一來，他個人那一點點微薄的創造力，就能被放大到無窮。 這條思路的邏輯很直接。如果能造出一臺機器，解決越來越複雜的問題，變得越來越通用，那它早晚能把所有可解的問題都解掉。三十多年後，施密德胡伯在萊克斯·弗裡德曼（Lex Fridman）的播客裡回顧這條線索，說真正讓他確信方向正確的，是遞迴的自我改進。 > "這臺機器不能只學會解決這一個問題、那一個問題，它還得學會改進學習演算法本身。"（施密德胡伯） 要做到這一點，機器得"看得見自己"。它的學習演算法和內部表示，必須能被自己檢視，被自己修改，它才有機會發明出更好的學習演算法。施密德胡伯給這套東西起了幾個名字：元學習（meta-learning）、學會學習（learning to learn）、遞迴自我改進（recursive self-improvement）。1987 年他的學位論文寫的就是這個：一層套一層的元層級結構，除了哥德爾（Kurt Gödel）在 1931 年劃定的那些邏輯邊界，以及物理世界本身的限制，沒有任何計算上的上限。 ## 今天的"元學習"，和 1987 年那個元學習不是一回事 近年元學習火起來了，但施密德胡伯認為，大家說的那個東西更接近遷移學習（transfer learning）。他舉了個很具體的例子：一個深度神經網路已經學會了影象分類，而且在 100 個不同的影象資料庫上訓練過。現在來了第 101 個資料庫，希望它快速學會這個新東西。最簡單的做法是把這個網路拿過來，只保留頂層，用新資料庫的標註資料重新訓練頂層。結果它幾乎一次就學會了。因為從前面 100 個資料集裡，它已經學到了大量關於計算機視覺的東西，可以直接複用，剩下的只是頂層的一點點微調。 這套做法在原則上已經存在幾十年了，很多人做過類似的事情。它很有用，但它和真正的元學習差得很遠。 > "真正的元學習，是讓系統有能力去審視它自己正在使用的學習演算法，並且能修改其中任何一個部分，然後評估修改的後果，從中學會造出一個更好的學習演算法，如此遞迴下去。"（施密德胡伯） 這兩個詞指的根本就是兩件事。遷移學習改的是任務，元學習改的是"改變任務的那套機制"。前者在固定的搜尋空間裡找更好的點，後者在重新定義搜尋空間長什麼樣。 ## 哥德爾機和"最快要演算法"：理論上最優，實際上用不了 2004 年前後，施密德胡伯寫過關於哥德爾機（Gödel machine）的文章，那是一類可以重寫自己程式碼的程式。哲學上、數學上，這些想法都很漂亮。但他在訪談裡很坦率地承認了它們的代價。 要做出漸近最優、理論上最優的自我改進器和問題求解器，得把證明搜尋這類東西裝進去。而這些機制會帶來一個加法常數，一個額外的開銷。當問題足夠大的時候，這個常數可以忽略不計。可在日常生活裡要解決的那些小問題，這個常數開銷大到無法忽視。 他用了旅行商問題（TSP）來解釋。給定一堆城市，找一條走遍所有城市且不重複的最短路徑，沒有人知道最快的解法是什麼。假設存在某個方法能在 n 的 5 次方步內解決它，n 是城市數量。那麼馬庫斯·胡特（Marcus Hutter）提出的那套通用方法，也能在 n 的 5 次方步內解決同一個旅行商問題，外加一個常數步數，這個常數用來做"證明"，證明這一類問題確實可以在 n 的 5 次方這個時間界內解決。 這個加法常數與 n 無關。n 越大，常數就越顯得微不足道。所以幾乎所有的大問題，都已經被一種最好的方式解決了，今天已經擁有這樣的通用求解器。 > "問題在於它不實用，常數開銷太大，而對於我們在這個小小生物圈裡想解決的那些小問題，這個開銷沒法忽略。"（施密德胡伯） 這裡的"小"需要澄清一下。弗裡德曼專門追問過：你說的"小"，指的是落在計算系統能力範圍內的問題，這些問題在普通人眼裡可能顯得巨大無比。施密德胡伯同意。看起來大，甚至今天看起來無解，但它們在"幾乎所有問題"這個尺度上仍然是小的。因為幾乎所有問題是"大問題"，大到超過任何常數。 也正因為如此，施密德胡伯和同事們把大量精力投在了另一條路上：迴圈神經網路，用梯度下降和區域性搜尋來訓練。這些東西完全不通用，也完全沒有可證明的最優性，但只要目標是把眼前這些小問題解決好，它們實用得多。 ## P 與 NP 給了直覺，但今天最好的 AI 不是從那裡長出來的 弗裡德曼問了一個很尖銳的問題：作為一個夢想造出通用學習系統的人，怎麼看 P 與 NP 這類關於問題難度和規模化的形式化分析？它對研究有用嗎，還是隻是一套幫人建立直覺的數學技巧？ 施密德胡伯的回答分兩半。P 與 NP 從理論角度看極其有意思，思考這類問題本身也能帶來啟發，讓人想到更好的實用求解器。但必須承認，今天在 AI 名義下實際解決各種問題的最好工具，並不是從這類問題裡得到靈感的。用的是通用計算機，比如迴圈神經網路，加一個區域性搜尋技術，也就是梯度下降，去找到一個能在這些網路上執行、能解決語音識別或者機器翻譯這類任務的程式。而目前最好的那些解法背後，理論少得可憐。 他引用了一句老話，說不清是誰先說的：沒有什麼比一個好的理論更實用。 一個好的、關於在有限資源下解決問題（比如在這個宇宙、這顆小行星上）的理論，必須把資源限制考慮進去。而這恰恰是現在缺的。現在有的是一種關於漸近最優的理論，它告訴人們還需要補上什麼，才能得到一個實用的最優求解器。他相信這個理論會出現，也許只需要幾個很小的轉彎，就能在已有的東西上改出來。在它出現之前，只能承認走的是次優路線，同時看著地平線上那個帶著記憶和區域性搜尋的東西，為它跑贏了所有競爭方法而高興。但不等於說，事情做完了。 ## AGI 的核心可能就幾行虛擬碼 施密德胡伯說過一句話：通用人工智慧系統最終會是簡單的，也許幾行虛擬碼就能描述。弗裡德曼覺得這個想法幾乎有點詩意，但也懷疑，那幾行虛擬碼是坐落在層層抽象之上的。 施密德胡伯的回答是，經驗告訴我們，最好用的東西都很簡單。那些漸近最優的解法，寫出來也就幾行程式碼，雖然帶著驚人的性質。最有前途的實用方法沒有最優性證明，但一樣是幾行程式碼。最成功的那些神經網路，五行虛擬碼就能寫下來。 不過他也承認那些抽象層的存在。人類站在幾千年裡別人發明的抽象之上：矩陣乘法、實數、基礎算術、微積分、誤差函式及其導數。沒有這套把問題極度簡化的語言，什麼都做不了。 > "我們一直站在巨人的肩膀上。這些巨人把問題求解這件事簡化到了如此程度，以至於我們現在有機會走出最後一步。而最後一步，會是很簡單的一步。"（施密德胡伯） 弗裡德曼接著追問了一個更根本的問題：如果回頭看整個人類文明，乃至整個宇宙，演化是不是必需的？會不會必須走一遍極其痛苦、極其低效的演化過程，才能得到那套最終通向智慧的抽象？有沒有捷徑？ 施密德胡伯說，目前只有一個樣本，就是這個宇宙。人類本身就是這個過程的一部分。宇宙執行的程式碼很可能極其簡單，因為引力和其他基本力的規律都很簡單，幾行程式碼就能寫出來。麻煩的是那些看起來隨機的事件，它們在宇宙史裡發生，而目前沒有完整的程式碼去生成它們。 ## 上帝擲不擲骰子，可能只是偽隨機 弗裡德曼問：量子力學歸根到底是不是一個偽隨機數生成器？宇宙裡到底有沒有真正的隨機性？ 施密德胡伯講了一段往事。幾年前，量子物理學家安東·蔡林格（Anton Zeilinger）在《自然》上寫過一篇文章，大意是：20 世紀最根本的洞見之一，就是宇宙在量子層面本質上是隨機的，每當去測量自旋向上還是向下，宇宙的歷史裡就多了一個新的資訊位元。施密德胡伯讀那段的時候，回覆已經在打字了，而且那篇回覆最終被髮表了，因為他說對了：沒有任何物理證據支援那個說法。 存在另一種解釋，把被認為隨機的一切都看成偽隨機，就像圓周率的小數展開，3.14159……看上去隨機，其實不隨機。它很反直覺：任意三位數字序列，大約每千次出現一次；任意五位序列，大約每萬次出現一次，跟真隨機的期望完全一致。但計算這一切的，是一個極短的程式。它極度可壓縮。 也許明天，某個在歐洲核子研究中心（CERN）的研究生回頭翻一遍所有的 beta 衰變資料，突然發現，哦，這是圓周率第二十億位之後的數字。目前沒有任何根本理由相信它是真隨機，而不是一盤確定性的電子遊戲。 如果它是一盤確定性的電子遊戲，那會美得多。因為美就是簡潔，而宇宙的基本規律，比如引力和其他基本力，確實都非常簡單。如果那些看似隨機的資料點需要不斷注入新的位元、需要額外一個"神諭"來解釋，那宇宙史的描述長度就會變得極長，也就變得醜陋。只要還沒有證據說明不存在一個能算出整個宇宙史的短程式，作為科學家就得繼續找下去。 ## 整部科學史，就是一部壓縮排度史 幾百年前有個天文學家叫開普勒，他盯著觀測行星得到的那些資料點，突然發現可以用橢圓把它們大幅壓縮：所有點差不多都落在圍繞太陽的橢圓上。後來又來了胡克和牛頓，他們說，讓行星這麼運動的東西，就是讓蘋果掉下來的東西，它對石頭、對其他各種物體同樣成立。這一下，大量觀測變得可壓縮了。只要能根據已經看到的東西預測下一個，就不用把那部分資料額外存下來。這叫預測編碼（predictive coding）。 再後來，理論預測和觀測之間還留著一些偏差。三百年後，愛因斯坦來了，用一個新理論把所有偏差解釋掉，也就是廣義相對論。它乍看複雜一點，要彎曲時空，但它可以用一句話說清：無論加速得多快、減速得多猛，無論所在區域性的引力如何，光速看起來總是一樣的。所有推論都能從這一句算出來。它把觀測進一步壓縮了，因為在新理論下幾乎測不到偏差了。 > "所以整部科學史，就是一部壓縮排度史。"（施密德胡伯） 人永遠不會一步就走到對資料的最短解釋，但每次有進展，就是有了一次洞察。本來描述一段蘋果掉落的影片，需要存下成千上萬個畫素，突然意識到，用前兩幀就能預測第三幀，因為那些橙黑色的團塊都以同樣的方式加速。壓縮率提高了多少，那一刻洞察的深度就有多少。這個深度，就是那種樂趣本身：科學的樂趣、發現的樂趣。 再往前一步，就是造出人工系統來做同樣的事。讓它們用自己的實驗獲得資料，測量自己洞察的深度，然後按這個深度給它們一個內在獎勵。既然它們想最大化獎勵，就自然有動力去構造新的動作序列、新的實驗，而這些實驗產生的資料，恰好是它們還沒見過、但能從中看出模式的。 ## Power Play：讓機器自己出題 這套思路被施密德胡伯叫"力量遊戲"（Power Play）。它的想法一樣簡單。 通常的電腦科學是這樣的：有人給一個問題，研究者面對巨大的解空間，嘗試各種候選方案，用各式各樣的辦法在搜尋空間裡移動，直到找到一個覺得滿意的解。這就是電腦科學的大部分內容。Power Play 往前走了一小步：不只搜尋給定問題的解，還搜尋"問題與解"的配對，讓系統自己有機會提出自己的問題。它在找的問題是：能生成新問題、並且能找到該問題解的那套求解器修改方案。 這多出來的一維自由度，讓機器變得像科學家。它不只回答已有的問題，還能自己提問。要造人工科學家，就得給它這個自由。 那麼，在無限多可形式化描述的問題裡，下一個該解哪個？答案應該是：最容易的那個、但超出已知範圍的問題。它要新，要必須修改求解器才能被解決，舊的求解器解決不了它，而且修改之後不能忘掉之前已經解決過的問題。按定義，Power Play 就是在所有問題與解的配對裡，搜尋能讓時間最短的那一種。 弗裡德曼提了個很現實的擔心：就像研究生和學者可能整個職業生涯都困在區域性最優裡，問的問題看著有意思，產出卻很少，這套"尋找最簡單的未解問題"的方法，會不會也卡在某個區域性最優裡，永遠跳不出去？ 施密德胡伯說不會。因為 Power Play 的本質就是不斷打破自己的泛化邊界，把地平線往外推一點，讓原來無解的東西變得可解，而它原本是無解的。這就像往系統里加一條新公理，就像哥德爾當年構造出那些在原系統裡無法證明的句子，可以把它加進系統，同時希望它不會破壞整個系統的一致性。 ## 創造力從來不是一個叫創造力的模組 在《創造力、樂趣與內在動機的形式理論》（Formal Theory of Creativity, Fun, and Intrinsic Motivation）這篇論文裡，施密德胡伯把發現本身當成一種內在獎勵。弗裡德曼順著問：如果把人類看成智慧體，那人類生活的意義和目的是什麼？人是不是 Power Play 智慧體的一個例項？ 施密德胡伯的回答是：人是好奇的，這意味著他們像科學家。不只是職業科學家，連嬰兒也像科學家，他們會擺弄自己的玩具，搞清楚世界是怎麼運作的、怎麼回應自己的動作，他們就是這樣學會重力的。1990 年，他的實驗室就已經有這類系統，會去擺弄環境，製造出超越自己已知範圍的情形，為製造出這些情形獲得獎勵，然後變得更通用、更能理解世界。 這種好奇策略，或者更復雜的版本，也被寫進了人類身上，因為演化發現這是探索未知世界的好辦法。會探索未知世界的人，更有機會解決生存問題。反過來，太好奇的人也被淘汰了。所以演化在這件事上找到了一個折中。社會上始終存在一定比例極度愛探索的人，他們死掉也沒關係，因為更多人是保守的。如果人工好奇心這套原則，在人腦裡幾乎以完全相同的形式存在，他一點也不會感到意外。 關於創造力，施密德胡伯的機器裡從來沒有一個叫"創造力"的程式。它是問題求解器搜尋解空間時的副作用。他把創造力分成兩種，機器裡現在都有。 第一種存在很久了：人給機器一個問題，機器去找解。這幾十年來一直在發生，機器也一直在為有趣的問題找到人類沒想到的創造性解法，人類看了之後表示欣賞。這更像是應用藝術，有人跟藝術家說"你給我畫一張教皇的好畫，我給你錢"，於是藝術家畫出一張讓人信服的教皇像，教皇滿意，付錢。 第二種是純粹的創造力，對應 Power Play 和人工好奇心：有自由自己挑問題，像個科學家自己定義要研究什麼。這兩種創造力的區分，幾乎就是窄 AI 和通用 AI 的區分。 ## 意識也許是資料壓縮的副產品 施密德胡伯認為，意識和創造力屬於同一類東西：翻遍機器裡的程式，找不到一個叫"意識"的過程，但機器的執行會自然產生一些看起來和意識關係很近的東西。 1990 年，他們的系統很樸素：一個迴圈網路，本身就是通用計算機，把輸入的資料對映成動作，去最大化環境裡的獎勵，比如電量低、負訊號從電池傳來的時候，總能及時找到充電樁，一路上還不撞到那些會疼的障礙物。事情挺複雜，但動機極簡單。 然後他們給這個小傢伙配了第二個網路，它只負責預測：如果我這麼做，接下來會發生什麼。它被訓練在漫長的與世界互動的歷史上，於是變成了一個世界的預測模型，也成了壓縮器。凡是預測得了的，就不用額外存下來，壓縮是預測的副產品。 這個網路是怎麼壓縮的？它發明出一個個小程式、小子網路，去代表環境裡反覆出現的東西：瓶子、麥克風、人臉。它學著造出某種人臉的"原型"，新的一張臉來了，只需要編碼它與原型之間的偏差。它一直在用反覆出現的東西做壓縮。 而環境裡出現頻率最高的東西是什麼？是整個互動過程中始終在場的那個東西：智慧體自己。 光從資料壓縮的角度看，網路長出一些代表智慧體自身屬性的子網路，幾乎是必然的：手、各個執行器、一切能更好編碼那些受自己動作影響的資料的東西。於是，作為求解過程中資料壓縮的副作用，內部自模型出現了。 有了這個世界的模型，它就能用來規劃未來，這正是他們從 1990 年起就在做的事。那個負責最大化獎勵的迴圈控制器，可以把這個世界模型當成一個"無線"的預測器，在腦子裡推演：先別做這串動作，做那串，因為那串更可能帶來可預測的獎勵。而當這個網路喚醒那些代表它自己的子網路時，它就在想自己，在想自己在想自己，在腦內推演自己行動的後果。 > "那麼你現在告訴我，還缺什麼。我缺的是通往意識的那最後一步。"（施密德胡伯） 弗裡德曼對這個說法頗為信服：如果生命就是一堆資料，而生命的運作就是壓縮這堆資料以便在其中高效行動，那麼"自己"在這堆資料裡出現得極為頻繁，於是形成一個關於自己的印象就很有用。意識由此成了一種必然的副作用。 ## LSTM 的功勞歸於學生，深度來自時間上的滯後 說到長短期記憶網路（LSTM），施密德胡伯專門花時間點了幾個名字。他說必須提到那些出色的學生，沒有他們，他什麼都不是。第一位是澤普·霍赫賴特（Sepp Hochreiter），還在做學位論文時就有了根本性的洞見；接著是菲利克斯·格爾斯（Felix Gers），做了重要的補充；還有來自蘇格蘭的亞歷克斯·格雷夫斯（Alex Graves），他主要負責 CTC 演算法，這個演算法如今常用來訓練 LSTM，做谷歌安卓手機上的語音識別，以及聖地亞哥·費爾南德斯（Santiago Fernández）等人的貢獻。 LSTM 被施密德胡伯稱為神經網路裡最深的一種。為什麼深度重要？現實裡大多數問題本身就是深的：當前的輸入並不能告訴你關於環境的一切，需要有記憶，而記憶裡重要的部分往往相當久遠。 語音識別就是例子。有人說了一個詞，"eleven"，那已經是半秒前的事，換算成時間步就是五十幾步之前。接著他又說了"seven"。結尾都是那個音，系統唯一的判斷依據，就是必須記得五十步之前出現的那個字首，它把"seven"和"eleven"區分開了。每個時間步都相當於展開網路裡的一層虛擬層，時間上的滯後就直接翻譯成了問題的深度。 但不需要記住所有細節。網路得學會把重要的放進記憶，把不重要的噪音丟掉。 那麼越深越好嗎？有沒有上限？施密德胡伯說，回溯的長度在實踐中並不那麼受限。2006 年前後，他實驗室的胡安·佩雷斯-奧爾蒂斯（Juan Pérez-Ortiz）作為第一作者的那篇論文裡，已經有需要回溯超過一千萬步的例子。 問題在另一頭。過去只有一條，未來卻有無數條。一個強化學習系統想最大化未來的期望獎勵，卻不知道該在無數可能的未來裡選哪一個，這件事 LSTM 自己解決不了。LSTM 擅長把截至此刻的歷史、觀測和動作壓成一個緊湊表示，但它不擅長在眾多可能的行動序列中做出選擇。 ## 世界模型和控制器，怎麼配合 於是結構變成兩半。一半是控制器，接收影片、語音，執行動作，最大化獎勵，沒有老師告訴它每一刻該做什麼。另一半是預測網路，它只預測"我這麼做會發生什麼"。後者也可以用 LSTM，用來回溯很久之前的事情，做出更好的預測。有意思的是，雖然它只預測下一個時間步，它卻有動力把一百萬步之前發生的某件事記進記憶裡，因為要預測下一個事件，那件事很關鍵。 那控制器怎麼用這個模型，在無數未來裡高效挑選？ 三十年前的做法是：把世界模型當成世界的模擬器，一毫秒一毫秒地推演未來。這要求模型真的很準，而且依然低效，因為有太多可能的未來要看。 2015 年以後的做法不一樣：讓控制器自己去學，怎麼使用模型網路裡那些可能相關的部分，來更快地解決新問題。如果它願意，也可以學會忽略它們。有時候忽略是對的，因為模型在某些情境下就是個糟糕的預測器。但控制器也可以學會去呼叫、去利用模型網路在壓縮資料過程中長出來的那些程式，也就是複用那份演算法資訊，縮小自己的搜尋空間，從而比沒有模型時更快地解決新問題。 而模型一開始很笨。所以控制器還應該有動力去做實驗、構造動作序列，去產生能改進模型的資料。 施密德胡伯對強化學習的實際前景非常樂觀。他參與創辦的公司 NNAISENSE，把強化學習用在小奧迪玩具車上，讓它們在沒有老師的情況下學會泊車。這些車很小，但裝了真車上的感測器，攝像頭、鐳射雷達一應俱全，最高能跑到時速 120 公里。它們有痛覺感測器，不想撞障礙物、不想撞別的車。它們得像嬰兒一樣，把原始的視覺輸入翻譯成能成功泊車的動作。 ## 下一波 AI：會用自己的行動改變資料的機器 施密德胡伯把當前這波 AI 稱為被動的模式識別和預測。手機裡的東西，太平洋兩岸的大公司拿它賣廣告、做營銷，就是這一波。它只佔真實經濟的一兩個百分點，已經足夠讓這些公司成為世界上最值錢的公司。 下一波影響的經濟份額會大得多，因為它關於能夠用自己的行動塑造資料的機器。 > "將來我可以說，機器人你看，我們來裝一部手機。拿一塊塑膠板，拿螺絲刀，擰一下，像這樣。不對，不是這樣，是這樣。它看著我，聽著我，用自己的執行器去試，它的執行器跟我的完全不同，但它能理解這個差別，學會模仿我。"（施密德胡伯） 這個過程裡，老師不會給每一塊肌肉每時每刻的目標訊號。它做的是高層模仿，得先學會模仿，然後再把從人嘴裡冒出來的那些額外噪聲，理解為幫它做得更好的有用訊號。學會之後，它會自己想出更快、更省的做法。最後關掉它的學習演算法，複製一百萬份賣出去。今天這還做不到，但通往那裡的路已經能看見了。 至於用物理模擬來訓練，他的判斷是：那是權宜之計，不是未來。未來是嬰兒做的事。嬰兒沒有物理引擎，他們學的是一個關於世界的預測模型，這個模型在很多地方是錯的，但抓住了各種重要的、抽象的、高層的預測，而這些恰好是成功的關鍵。三十年前這曾是"未來"，今天它仍然是"未來"，困難的地方在於還不太清楚怎麼把它真正做成可執行的系統。 ## 邏輯程式設計有用，但用在別的地方 八十年代，專家系統和符號 AI 很流行，邏輯程式設計是件大事，日本的第五代計算機專案也主要圍繞它。施密德胡伯的第一次發表就是 1987 年，用 Prolog 實現的一個遺傳程式設計系統。神經網路當時已經存在，深度學習從 1965 年烏克蘭人阿列克謝·伊瓦赫年科（Alexey Ivakhnenko）開始就存在了，但日本和很多人把重心放在邏輯程式設計上。 邏輯程式設計今天依然有用。它很適合構造可證明最優或者可證明足夠好的東西。今天的定理證明系統比大多數一二年級的數學研究生還強。但讓它去下圍棋、下棋，去驅動機器人、自動駕駛汽車、做物體操作，那就沒什麼意義了。只要問題是模式識別，目標就是識別得更好、把誤判降到最低，這些跟邏輯程式設計關係很小。 ## 人類不會被智慧替代，但會被智慧甩開興趣 關於近期的失業焦慮，施密德胡伯的態度是結構性的樂觀。幾十年來一直有人預測失業。工業機器人出現的時候，很多人預言大量崗位消失。某種意義上是說對了：當年的汽車廠裡有幾百個人，今天的同一家工廠裡是幾百臺機器人加三個人看著機器人。但機器人密度最高的那些國家，日本、韓國、德國、瑞士，失業率反而都很低。新工作被創造出來了，當年沒有人預料到那些工作。三十年前，誰能想到會有那麼多人靠做 YouTube 博主賺錢？兩百年前，60% 的人從事農業，今天大概只有 1%，失業率仍然只有幾個百分點。 他用拉丁語裡的一個詞來形容人：遊戲的人（Homo ludens）。遊戲的人一直在發明新工作，而這些工作大多不是生存必需的。真正生存必需的崗位很少，種地、蓋房、取暖，加起來不到 10% 的人口在做。絕大多數新工作，都是用新的媒介、新的方式與他人互動，換取新的讚美、新的點贊，甚至靠這個賺錢。人不願意失業，所以不斷髮明新工作，並且真心覺得它們很重要，為此投入大量精力和時間。 關於長期的存在性威脅，他說如果他成了，人類不會是人類演化的最後一步。他們會去太陽系其他地方。太陽系其餘部分的太陽能是這顆小行星的兩億倍，那裡有大量材料可以用來造機器人和能自我複製的機器人工廠。他們會去做科學家，會好奇，會去探索自己能做什麼。一開始，他們會痴迷於生命、自己的起源、我們的文明，想把這一切徹底搞清楚，就像今天的人想搞清楚生命是怎麼運作的。但一旦搞懂了，就會像任何人對自己已經完全理解的東西一樣，失去興趣。此後對他們最有意思的資訊源，是同類。這算是一種保護，一種因為失去興趣而獲得的保護。 宇宙還很年輕。138 億年，而它未來的壽命會長上一千倍。從宇宙的時間尺度看，大爆炸之後幾乎立刻就出現了智慧，用無線電在發射端和接收端之間傳遞資訊。整個可見宇宙會被這些東西填滿。施密德胡伯把現在叫"宇宙年齡的第一年"，還很年輕。 至於怎麼知道外面有沒有更高階的智慧，他講了自己小時候的兩個猜想。大尺度結構裡那些巨大的空洞，看起來什麼都沒有，但也許是某個已經擴張開來的文明，用掉了一個十億光年氣泡裡所有恆星的能量，只是沒能解讀那些跡象。後來他學到，引力本身就足以解釋大尺度結構，這個猜想不成立。接著他想，也許是暗物質。今天可測量的物質裡 80% 看不見，否則星系會散架，轉得太快了。也許那些就是文明，因為它們極其高效地使用本系統的能量，所以對人類顯得黑暗。但這也不成立：如果銀河系裡已經有這樣的文明，為什麼還有可見的恆星剩餘？ 所以他現在的判斷是：至少在能可靠觀測的這幾億光年範圍內，人類很可能就是第一個。這件事讓人類變得重要得多。因為一旦把它搞砸，比如打起核戰爭，也許會影響整個宇宙的後續發展。 ## 把這份對話變成可用的東西 施密德胡伯的思路有一個共同骨架：資訊壓縮得越深，理解就越深；理解越深，能自己提出的問題就越好。這套骨架不只適用於機器。正在讀這篇文章的人，也能拿去用。下面是可以直接拿走用的幾條。 - 聽到"元學習"三個字，先追問一句：它改的是最佳化過程本身，還是隻重訓了最後一層？如果是後者，那就是遷移學習，別被術語帶跑。 - 判斷一項技術在不在"理論最優但沒法用"的狀態，看它是否帶著一個與問題規模無關的加法常數開銷。有，就說明它只在大問題上划算，日常場景裡會拖死專案。 - 拿"可預測性"當作理解的檢驗標準：能不能用更短的一段話，說出同一批資料？如果對一件事的解釋比原始材料還長，那大機率還沒理解它。 - 給團隊和自己設計內在獎勵，獎勵"洞察的深度"，別隻獎勵動作數量。一個能大幅壓縮舊資料的想法，價值遠高於十個順手做完的小任務。 - 把"想出自己的下一個問題"當成一項可以單練的元技能。每週留出一段時間，只做一件事：找一個比現有能力邊界剛好高一點點、但又不至於解不動的問題。 - 梳理技能時，分清楚哪些屬於被動模式識別（分類、生成、檢索），哪些屬於用行動改變資料（談判、實驗、現場除錯、帶團隊）。後者的遷移成本高得多，也更晚被替代。 - 看公司的時候，多留意那些讓機器用自己的行動去塑造資料的，而不是隻做被動識別的。施密德胡伯說的那一兩個百分點的經濟份額，會挪到下面那一波里去。 - 對就業預測保持結構性樂觀，但要盯住具體技能的遷移成本。宏觀上新工作總會冒出來，微觀上能不能熬到那一天，是兩件完全不同的事。 - 最後一條來自他自己的收尾：如果人類真的是可觀測範圍內的第一個，那就別搞砸。別把人類自己搞砸，也別把這個開端搞砸。