# 弗拉基米爾·萬普尼克：謂詞、不變數與智慧的本質 > 統計學習理論奠基人萬普尼克談謂詞與不變數，以及為何真正的智慧在於從少量樣本中推斷本質規律。 - 原標題：Vladimir Vapnik: Predicates, Invariants, and the Essence of Intelligence - 期數：特別節目 - 釋出日期：2020-02-14 - 嘉賓 / 主題：萬普尼克論智慧本質 - 網頁版：https://lex.qiaomu.ai/tw/ep/vladimir-vapnik-2/ - 官方頁面：https://lexfridman.com/vladimir-vapnik-2/ - 精讀字數：約 6423 字（閱讀約 14 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 弗拉基米爾·萬普尼克（Vladimir Vapnik）給智慧下過一個可檢驗的定義：能用一個或很少幾個謂詞，把可能函式的集合縮小到極小，這件事本身就是智慧。他為這個定義設計了一道人人都能上手的題目：如果有人能用每類 60 個樣本，在 6 萬張手寫數字上達到當前最好的識別精度，那才算真正摸到了智慧的門。而現在最好的模型，用的是全部 6 萬張。 萬普尼克是支援向量機的共同發明人，VC 理論的奠基者之一，論文被引用超過 20 萬次。他 1936 年出生在蘇聯，在莫斯科控制科學研究所工作了幾十年，後來去了美國，在 AT&T、NEC 實驗室、Facebook AI 研究院都待過，現在是哥倫比亞大學的教授。 他上一次和萊克斯·弗裡德曼（Lex Fridman）對話是在一年多以前，那是播客很早期的節目。這一期的英文標題裡有三個詞：謂詞、不變數、智慧的本質。第三個詞，他想了五十年。 ## 圖靈留下的是工程，不是科學 對話開場就聊到了圖靈。弗裡德曼提了一個判斷：圖靈作為人工智慧之父，也許給這個領域注入了一種工程倫理，大家忙著造出智慧，而不是理解智慧。 萬普尼克說，工程和理解是兩件完全不同的事。工程是人類活動的一種變體，你需要造出一個裝置，讓它像人一樣行為，具備人的各種功能，怎麼實現的並不重要。理解智慧是什麼，是另一個問題。 > 工程可以不管背後的道理，理解不行。理解差不多是一個哲學範疇的問題：說“理解這個世界”，到底是什麼意思？（萬普尼克） 他相信柏拉圖的那個框架：存在一個理念的世界。智慧屬於這個理念的世界，是純粹理念的世界。當理念和現實事物結合，就產生了不變數。在他的定義裡，構造不變數就是智慧。而理解，是抽象的理念在現實上做投影。 這裡有個關鍵區分。理念世界很小，現實世界很大。你用少數幾個抽象理念，投影到無窮無盡的現實資料上，生成無數具體的不變數。智慧的工作方式是先擁有理念，再拿理念去篩選資料，方向恰好和今天大部分深度學習的工作相反。大部分模型是從海量資料裡往上歸納，萬普尼克想讓你從上往下推。 ## 什麼是一個謂詞 弗裡德曼問了一個聽上去有點笨的問題：謂詞到底指什麼？ 萬普尼克說，最簡單的謂詞是一個函式。你可以用這個函式做內積，內積的結果就是謂詞。輸入是現實中的資料，比如手寫數字的畫素空間；輸出是一個數值，用來衡量這個資料在某個屬性上的程度。 拿對稱性舉例。對稱性就是一個謂詞。它給出的是一個程度，回答的是“這張圖有多對稱”，而這個程度連續可測。字母 S 有豎直方向的反對稱性，數字 3 大體上是對稱的。水平、垂直、對角、反稱，都屬於對稱這個理念的不同投影。 “度數”這個概念在這裡很關鍵。存在性太粗暴，程度才是真正的謂詞。你可以說這張圖“相當對稱”，也可以說它“幾乎完全不對稱”，謂詞給出的是一個連續的度量。 他還有第二個直覺中的謂詞，叫做“結構化程度”。他沒給出形式化定義，只說“左邊很重、中間不那麼重”這類描述就是。他自己承認不知道該怎麼形式化這個想法。 這裡引出了一個更寬的類比。音樂評論家用一套專門的詞來描述音樂，詞的種類並不多，但組合起來能覆蓋極豐富的內容。萬普尼克認為，影象評論家也應該有類似的詞表，有一小批真正理解影象本質的人，能用一套有限的謂詞去刻畫一張圖。 他堅持這些謂詞不為數字“2”“3”“4”量身定做。謂詞描述的是某種結構，這種結構允許你構造出在具體任務上有用的不變數。謂詞是通用的，不變數是謂詞在具體資料上的落地。 ## 弱收斂，以及他五十年才看清的東西 整場對話裡最技術、也最關鍵的部分，是收斂。 大數定律說，對任意一個函式，樣本上的平均值會收斂到期望值。這個是老朋友了，統計學的基石。但學習問題需要一個更強的版本，叫做一致大數定律：它對某一個函式成立還不夠，所有候選函式必須同時成立。否則你挑出那個樣本表現最好的函式時，可能正好挑中了一個樣本平均值跟真實期望差得離譜的函式。 這部分他和阿列克謝·切爾沃年基斯（Alexey Chervonenkis）在上世紀六十年代就做出來了。這是他引以為傲的工作，但他說，這還不是最深刻的那一層。 最深刻的一層是弱收斂。希爾伯特空間裡只有兩種收斂：強收斂和弱收斂。強收斂要求函式本身逐點接近，差值的平方積分趨近於零。弱收斂寬鬆得多：只要求這個函式和空間裡任何一個測試函式做內積，內積值收斂。你看的是函式的積分性質，逐點性質不在考慮範圍內。 萬普尼克說，五十年來他一直在用強收斂思考問題，直到最近才意識到**真正有力的工具是弱收斂**。因為弱的條件恰好能構造出“可行函式集合”。 什麼意思？你有一個巨大的希爾伯特空間，裡面住著無窮多個函式。你想做分類，就得從裡面挑一個。如果只給幾個樣本，從無窮集合裡隨便挑一個擬合樣本的函式，幾乎必然過擬合。解決辦法是先縮小候選集合。縮小的方法就是對謂詞提要求：我觀察訓練資料，發現它們的對稱度平均值是多少，那麼我只要那些在所有資料上對稱度平均值也接近這個數的函式。其餘函式全部排除。 一個謂詞砍一刀，集合小一圈。幾個謂詞砍下來，函式集合就小到能靠少得可憐的樣本學好。 > 謂詞的好處是，它跟你具體要解的任務無關。就像普洛普的 31 個單元，本是為俄國民間故事設計的，結果發現電視劇、電影、戲劇都能用。（萬普尼克） 他反覆強調一個反直覺的推論：如果謂詞砍集合的效率足夠高，那好謂詞的數量就不會太多。因為每一刀砍掉的分量都很大，不需要砍很多刀就能把整個空間削到只剩一個函式。理論上的極端情況是：如果你擁有所有可能的謂詞，你甚至不需要任何訓練資料，可行集合裡就只剩下你要找的那一個函式。現實裡我們用不了那麼多，只用少數幾個好謂詞，所以還需要一些樣本。**好謂詞越多，需要的樣本越少，智慧就在這裡。** ## 普洛普的 31 個單元 弗拉基米爾·普洛普（Vladimir Propp）是蘇聯民俗學家，1928 年出版了一本《故事形態學》（Morphology of the Folktale）。他把俄國民間故事拆解成 31 個基本敘事單元，每個單元對應一個固定的功能。故事用到的單元數量和順序都有規律，未必每個故事都跑滿 31 個，但出現的次序有跡可循。 弗裡德曼在對話裡舉了前幾個：主人公離鄉（缺席）、禁令下達（不許去那裡）、違反禁令（偏要去）、偵察、反派的計劃逐漸清晰，一路走到第 31 個：婚禮，從此幸福地生活在一起。 萬普尼克對普洛普的解讀重點不在民俗學，在於數量。31 個。描述整個人類敘事行為的抽象單元只有 31 個。而且這套單元后來被證明不限於民間故事，電視劇、電影、偵探小說都能套用。 他說的意思很清楚：**如果人類敘事行為的抽象結構只有 31 個謂詞，那整個理念世界裡的謂詞總數也不會太多**。這給了他底氣去說“柏拉圖的世界很小”。 順便提一句，普洛普這套結構後來對結構主義敘事學影響很大，列維-斯特勞斯也有一套不同的解讀方式。萬普尼克對此的態度是：方式不同沒關係，重要的是他們都在做同一件事，用少量抽象單位去解釋大量具體現象。 ## 從巴赫到 MNIST 對話裡有個很有意思的轉場。弗裡德曼聊到童年記憶，萬普尼克說他的童年記憶是音樂。先是被維瓦爾第震到，後來聽懂巴赫的時候，是完全被擊中的感覺。 然後他說了關鍵的一句：**在巴赫的音樂裡能感覺到結構。**他覺得結構就是一種謂詞，只是他還沒找到形式化的方法。 他順著這條線往下推。巴赫的音樂結構和肖邦完全不同，評論家用完全不同的詞彙去描述它們。如果把評論家描述巴赫、描述肖邦、描述繪畫、描述詩歌時用的詞彙全部收集起來，做一次交叉比對，看看哪些謂詞是共通的，理論上你就能得到一套描述“影象”的謂詞，甚至直接用於手寫數字識別。 聽上去有點玄，但他真做過類似的事。他有個朋友在 NEC 實驗室，是研究俄羅斯詩歌的教授，出版過好幾本俄羅斯詩歌選集。萬普尼克請她用俄羅斯詩歌評論的語言，為每一張手寫數字影象寫描述。她做到了。 然後他們用這套“詩歌描述”做了一件叫“特權資訊學習”（learning using privileged information）的事。同一批資料有兩種語言：一種是畫素本身，一種是詩歌式的描述。訓練的時候把詩歌描述當作特權資訊喂進去，識別效果比單用畫素好得多。 那位教授後來去世了，這批帶詩歌描述的手寫數字資料至今還留在 NEC。 > 評論家試圖向你解釋音樂時用的那些詞，他們描述的是音樂背後那些高層次的柏拉圖式理念。（萬普尼克） 這個故事的邏輯是這樣：從理念到具體呈現是正問題，容易；從具體的藝術作品反推出背後的理念是反問題，很難。但反問題不是不可解，音樂評論家和詩歌教授每天都在解它，只是沒有把它寫成數學罷了。萬普尼克覺得，只要認真編寫這些評論詞表，就一定能從中抽出一套通用的謂詞，用來處理影象識別。 ## 卷積是一個謂詞，僅此而已 聊到深度學習，萬普尼克的話說得不客氣。 他說自己對深度網路所知不多，只瞭解揚·樂昆（Yann LeCun）的卷積網路。而卷積在他看來就是一個謂詞，用來捕捉平移不變性。就這一個。二十五年前樂昆做的就是這個，到今天也沒什麼清楚的、同等分量的新謂詞被加進去。 既然如此，他不理解為什麼人們要談“深度網路”，在他看來直接談“保持了這個謂詞的、分片線性函式集合”就足夠了。 從數學上看，所有神經網路無非都是分片線性函式的集合，可能有很多很多片，但仍然是分片線性函式這個大家族裡的一小塊。而在他偏愛的再生核希爾伯特空間（RKHS）裡，函式空間要大得多。他一直強調有閉式解，他認為閉式解存在於希爾伯特空間這個層面上，人造的分片線性子集裡沒有這種東西。 > 神經網路裡的技巧，本質上都是在縮小可行函式集合，讓它對你手上的任務有用。引入卷積網路，就是把集合縮小到保持平移不變性的那一部分。問題在於，這些不變數全靠人手工指定，它們不會從對理念世界的理解裡自己冒出來。（萬普尼克） 他為工程取向說了句公正話：做自動駕駛的人，根本不需要在乎背後的理論，誰有更好的直覺誰就做得更好。這沒問題。但他堅持，如果你想做科學，就必須回到理念層面。 弗裡德曼提到注意力機制、語言模型裡那些讓網路學會“看輸入哪一部分”的設計。萬普尼克的態度很穩：這些是工程，工程是好事，但你無法在理念層面解釋它為什麼有效。 ## 怎麼找到好謂詞：去物理裡學一招 談話最有用的實操建議出現在這裡。弗裡德曼追問他，一個年輕的研究生該怎麼找到好謂詞？ 萬普尼克給的答案借自物理學：**找一個現行理論解釋不了的場景，然後想辦法消除這個矛盾。** 當年他和同事處理糖尿病資料集時就是這麼做的。先訓練一個模型，然後去找那些“謂詞沒有保持不變數”的區域，在那裡現有模型解釋不了。找到之後，重新訓練，這次加上這個不變數的約束，只保留滿足條件的函式。精度就上去了。 他管這叫暴力方法，但這是他可以明確描述的路徑。這個方法的邏輯和物理學一模一樣：你從舊理論失效的地方逼出新理論，無需從零重新發明。 他還特意點出一個反例思路。如果有人跟你說“像鴨子一樣會下棋”，這算什麼謂詞？形式上沒問題，你可以任意定義謂詞。但這不是好謂詞，因為它幾乎不縮小函式集合。“像鴨子一樣叫”“像鴨子一樣遊”“像鴨子一樣走”，這些是好謂詞，對鴨子這個類別的所有樣本都成立，一刀砍掉一大片。“像鴨子一樣下棋”就沒有這種性質。 **評價一個謂詞的標準，是它能把可行函式集合縮小多少。**形式上都合法，效果上千差萬別。 ## 邏輯推理為什麼幫不上忙 弗裡德曼試著把話題引向符號 AI 和專家系統：既然智慧的鑰匙是發現好謂詞，那用演繹推理去自動發現好謂詞行不行？ 萬普尼克的回答很乾脆：不行，光靠邏輯不夠。因為你需要知道現實，需要知道生活。 他接著說的一句話特別有意思。弗裡德曼說“常識不就是一些規則嗎”，萬普尼克反駁說，常識說到底是死亡、是對死的恐懼、是愛、是靈性、是快樂和悲傷，全揉在一起。你沒法學。 > 你應當知道現實，你應當知道生活。像普洛普那樣的人，他知道一些東西，然後試著把他的理解放進不變數裡。（萬普尼克） 把手寫識別裡那套理念，硬套到“理解人生”這種尺度的問題上，邏輯推理幫不上忙。但當課題縮小到手寫數字，事情就變得可以下手了。 ## 為什麼是手寫數字 整場對話，弗裡德曼反覆追問：為什麼選 MNIST？它是通往智慧的第一步，還是一個跟智慧完全無關的玩具問題？從它出發，多久能走通到通用視覺、到語言、到常識？ 萬普尼克反覆把話題拉回來。他的答案可以用愛因斯坦那句話概括：**儘可能簡單，但不能更簡單。** MNIST 的妙處在於，它在理念層面足夠簡單，但在實現層面一點都不簡單。它簡單到你能看清楚自己在幹什麼，又複雜到必須動用真正的抽象思維。一個只想著手寫數字的模型，是修不好這道題的。 他對語言的判斷是：這玩意兒太複雜了，涉及太多他不知道的東西。他不打算在語言上下手，而且他認為 21 世紀都搞不定。他的手寫數字挑戰，是這輩子能親手推完的題目。 關於“從 MNIST 到通用視覺要多久”，他的回答是：一旦這個挑戰被解出來，答案會自己浮出來。因為要做到用少一百倍的樣本達到同樣的精度，背後必須有真正聰明的東西在起作用，那個東西就是謂詞和不變數。它是可以遷移的。但遷移多遠，他不知道，他也不願意在不懂的地方亂猜。 弗裡德曼一直想把話題引向 3D 視覺和常識，萬普尼克每次都說：別跳，先把這個簡單的做紮實。 ## 斯特魯加茨基的兩條路線 聊到人生意義的時候，萬普尼克提了一對俄羅斯作家兄弟，斯特魯加茨基兄弟（Strugatsky），蘇聯科幻文學的代表人物。他們有個想法：人類正在分化成兩支，一支是普通人，一支是非常聰明的人，這兩條路線很快就會徹底分開。 萬普尼克提起這個想法時沒有評判，只是覺得有意思。 他還說起另一個故事。他認識一位俄國的文學理論家，每當他聽這個人分析文學、分析人際關係、分析人生，他都會覺得自己“像個小孩”。那個人掌握的是人生的大塊謂詞，用他熟悉的詞就能把複雜的人生處境說清楚。 然後他提了個觀察：**大公司裡的管理者，很多本科讀的其實是英國文學或者英語語言。**為什麼？因為這些人懂人生，懂模型。他們天生就是那種善於分析敘事的評論家。 弗裡德曼在結尾誇他是我們這個時代最偉大的數學家和統計學家之一。萬普尼克說：“我對自己的邊界很清楚。” 他說這話時是認真的。整場對話裡，他反覆表達的就是一種精確的自我邊界感：他能想清楚手寫數字識別，他懂收斂，他懂不變數，但他不懂語言，不懂人類情感，不懂大多數人文學科。看清自己不懂什麼，對他來說和看清自己懂什麼一樣重要。 ## 可以拿去做的事 - **在自己的任務上，試著寫出一到兩個真正的謂詞。**別寫成“這是貓”“這不是貓”這種標籤，寫成一個連續可測的屬性，比如“圖片的結構化程度”“這個樣本在當前謂詞上的偏離度”，然後把它用作訓練約束，看模型在少量樣本上的表現會不會明顯變好。 - **用弱收斂的思路看待正則化。**你不需要讓預測函式逐點吻合，只需要讓它在若干可度量的性質上和先驗一致。寫程式碼時把“允許的函式集合”顯式地收窄，別指望損失函式自己學出來。 - **在物理學的啟發下找矛盾。**先訓練一個基線模型，然後專門去找它失效的區域。在那些區域加上新的不變數約束重新訓練。萬普尼克處理糖尿病資料集用的就是這個方法，可以原樣搬到你手上的問題。 - **試試特權資訊學習。**如果你的資料裡有一部分樣本帶有額外的、豐富得多的描述（文字、標註、專家筆記、評論），不要丟掉它們，把它們當作特權資訊在訓練時喂進去。這個概念在 NEC 時代的實驗裡被證明是有效的。 - **做一小批真正的跨領域採集。**找一個音樂評論家、一個藝術評論家、一個詩歌研究者，請他們用自己領域的語言描述你手上的一小批資料。哪怕只有幾十條，把它們和影象本身並排放在一起讀幾遍，你自己就會開始看到共通的謂詞。 - **把最大的問題拆成一個“儘可能簡單，但不能更簡單”的挑戰。**MNIST 之於智慧，就像果蠅之於遺傳學：它提供了一個能被徹底解決、又能留下通用工具的起點。問自己：你手上那個大問題，能不能化成一道一週內能跑通全部實驗的具體挑戰？ - **最後，記住萬普尼克在節目末尾留下的那句話：解一個你真正關心的具體問題時，不要把更一般的問題當作中間步驟去解。**先把最簡單的那個啃穿，讓普遍性自己從底下浮出來。