# 伊尚·米斯拉：計算機視覺中的自監督深度學習

> 計算機視覺研究員講述自監督學習如何利用無標註資料訓練模型，以及對比學習與表徵學習的最新進展。

- 原標題：#206 – Ishan Misra: Self-Supervised Deep Learning in Computer Vision
- 期數：第 206 期
- 釋出日期：2021-07-31
- 嘉賓 / 主題：伊尚·米斯拉：自監督視覺學習
- 網頁版：https://lex.qiaomu.ai/tw/ep/ishan-misra/
- 官方頁面：https://lexfridman.com/ishan-misra/
- 精讀字數：約 14164 字（閱讀約 31 分鐘）

> 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。

1966年，MIT 的 Seymour Papert 提交過一份提案，名字叫“暑期視覺專案”（Summer Vision Project）。計劃很簡單：找十個學生，用一個夏天，把計算機視覺解決掉。

五十五年過去了，人們還在解決它。

Jitendra Malik 是伯克利教授，也是計算機視覺領域從深度學習革命之前到之後都站在中心的人物。他把這種反覆出現的低估歸結成一個詞：**成功第一步的謬誤**（fallacy of the successful first step）。

> 視覺裡有很多問題，拿到 50% 的解法只需要一分鐘，從 50% 到 90% 可能要一天，從 90% 到 99% 可能要五年，從 99% 到 99.99%，也許你這輩子都見不到。（Jitendra Malik）

這個比例不可能對每個問題都成立，但它解釋了為什麼過去半個世紀裡，計算機視覺的從業者自己也一再覺得“快做完了”，然後發現真正的困難才剛剛開始。

## 為什麼我們會覺得看圖很簡單

視覺看起來簡單，因為它的絕大部分工作發生在意識之外。

人看東西的時候，不覺得自己在做運算。挑一句話說出來，腦子裡會有一種“我在組織語言”的感覺，解一道題、下一盤棋也一樣，那種吃力是能被感知到的。但看這件事，從光訊號進入視網膜，到在大腦裡構建出“桌上有一個杯子”，全過程無聲完成，中間不需要主觀參與。

Malik 提到了一個讓人沒法反駁的事實：**很大一部分大腦皮層專門用於視覺處理**，在其它靈長類身上也是如此。

如果一塊器官要佔用相當於幾個足球場面積的皮層去承擔，它就不可能是小問題。感覺不到困難，是因為提供這份計算力的部分沒把人叫醒。

這裡有一個副作用。做語言、下棋、推理的人，因為能感覺到吃力，反而會謹慎。做視覺的人，因為感覺不到吃力，容易輕視。這個不對稱，使計算機視覺領域在幾十年裡反覆自我欺騙。

## 自動駕駛和那個滑板者

把“視覺被低估”這句話放到具體場景裡，最容易看的就是自動駕駛。

特斯拉的 Autopilot 主要靠八個攝像頭，核心是一個多工神經網路，共享主體表徵，分出多個任務頭。有人叫它 HydraNet。這套架構的思路是純視覺、端到端學習。

Malik 的態度是分層的。他對**近期實現完全自動駕駛是悲觀的**。硬體和演算法架構都不是瓶頸所在，瓶頸在邊緣情況。他說，會有那麼 0.01% 的情況，需要相當複雜的認知推理才能處理。

他舉了一個自己開特斯拉遇到的例子。路上有一個滑板者，系統反應錯了。

> 它沒能預測這個滑板者接下來要幹什麼。這需要更高層次的認知理解：滑板者通常會怎麼做，普通行人的常規行為在這裡不夠用。（Jitendra Malik）

人工駕駛的時候，一個司機看到滑板者，會下意識地做出一點行為上的調整。滑板者可能會突然變向，可能會嘗試一個動作，也可能會跳下來。這種調整不在駕考教科書裡，是從無數次觀察到的人的行為中建立起來的。對行人適用的駕駛策略，放在滑板者身上會失效。

Malik 由此把感知重新定義了一遍。他不認為感知只負責“看到現在”，**感知必須預測下一步會發生什麼**。

> 感知要交代的重點在於接下來會發生什麼。此刻的狀態已經完成，已經過去了。人關心未來，因為人要在未來採取行動。（Jitendra Malik）

如果把人類駕駛員拆開來看，會發現更有意思的事。一個普通的十六歲高中生，上駕校第一天，他不會重新學習視覺。他從 0 歲到 16 歲，已經把三維世界、遮擋、物體在不同視角下的樣子、直觀物理、人類的常規行為模式，全部建立起來了。Malik 說，這些能力的**大部分在兩歲前就掌握了**。

那麼駕校在教什麼？

> 他們不需要從頭重新認識視覺世界，那套東西早就在了。他們學的是控制，是怎麼把轉向和剎車做得平順，是交通場景中的常規感。（Jitendra Malik）

一名十六歲的學員是帶著“視覺天才”的底子上路的。這套底子讓他即使從沒在路上遇到過某個特定情況，比如前面的卡車突然開啟後擋板掉下來一堆雜物，也不會徹底蒙掉，因為他擁有大量通用的視覺知識可以遷移。

今天用幾十億張圖訓練出來的自動駕駛系統，缺的正是這份已經內建好的底子。

## “白板學習”這個詞，值得單獨拎出來

Malik 用了一個拉丁詞來描述當下的主流正規化：**tabula rasa**，白板。

今天的深度學習系統，絕大多數是白板式的有監督學習。系統被丟進一堆經驗裡，從零開始學一種輸入到輸出的對映。假設這個對映是物體分類，那就是幾十萬張圖片配標籤，學完輸出一個分類器。

人類學習根本不是這樣。

一個嬰兒在兩歲前就建立起關於這個世界的龐大先驗：世界是三維的、物體會被別的物體遮住、人會有意圖、球放手會掉下去。這些先驗沒有哪個大人系統教過，是他在和世界互動的過程中自己搭出來的。等到了學開車的年紀，他已經在這些先驗上又累積了十幾年的經驗。

白板學習的極限在哪裡，Malik 沒有直接說。但他指出了方向：**需要新的學習機制**，靠堆更多資料、換更大模型解決不了根本問題。

這一點值得停下來想一想。很多人的直覺是，只要資料足夠多、算力足夠大，視覺問題總有一天會被懟出來。這種直覺有個前提假設很難成立：一個從零開始、只靠標註資料訓練的系統，很難自發長出人類幼兒在兩年裡建立的那種關於世界的結構性先驗。

## 兒童身上有六件事可以學

Malik 引用了一篇論文，Smith 和 Gasser 寫的，文章裡總結了兒童學習的六個特點：多模態、漸進、身體參與、探索、社交、使用語言。他說這些其實在兒童發展心理學裡是常識，只不過在計算機視覺和 AI 圈裡不算常識，他的角色是搭橋。

六個裡面最根本的，他覺得是**多模態**。他舉的例子非常具體。

一個孩子拿起一個球，在手裡玩。這一刻他同時獲得兩路訊號：一是觸覺，來自指尖、拇指、手掌上的受體，稀疏地勾勒出這個球的三維形狀；二是視覺，看到整個球的樣子。這兩路訊號落在完全不同的空間裡，一個是皮膚接觸的空間，一個是畫素空間。但孩子知道它們指向同一個物體。

這就產生了一個非常強的**交叉校準訊號**。而且它是**自監督**的，不需要媽媽在旁邊指著球說“這叫球”，孩子自己就能建立這兩路訊號之間的對應。

另一個 Malik 同樣看重的多模態，是視覺和聽覺。

> 桌上的玻璃碗掉下來碎了，我聽到碎裂聲，看到玻璃碎片。好，我把兩者之間的關係建立起來了。（Jitendra Malik）

這一類研究在最近幾年變成了熱點，比如視覺輔助的雞尾酒會效應問題：把多個說話人分開，這在純音訊裡是經典難題，一旦引入視覺資訊，難度就大幅下降。

多模態的關鍵在時間這個維度上。在某一刻 T1，聽覺域有訊號，視覺域有訊號，既然它們同時發生，就很可能有因果關係。**時間是免費的監督訊號**，不需要人來打標籤。

## 視覺是語言的長輩

談到語言和視覺的關係，Malik 的回答乾脆利落。

> 非常清楚，視覺是長輩。視覺是更根本的能力，它在語言之前出現。（Jitendra Malik）

他的論證分兩條線走。

一條是系統發生（phylogeny），也就是進化時間。大約五億年前，第一批多細胞動物出現，它們已經能夠移動，也具備某種形式的“看”。視覺和運動在最早的階段就是互相配合的：移動能把生物帶到別處去找食物，但得知往哪走，需要視覺。所以感知和行動從第一天起就綁在一起。

再往後，大約七百萬年前，人類這一支從其它靈長類裡分出來。這條線上出現了直立行走，雙手被解放，可以做更精細的操作、造工具。這個階段大腦容量也大幅增長。Malik 說，這個時期的人類祖先已經有相當細緻的視覺智慧了：知道世界由物體構成、物體之間有特定關係、觀察到過物體間的因果互動、能理解空間和時間。這些全部是視覺和感知的產物。

語言出現的時間不好定，但幾乎肯定在這之後。沒有任何其它猿類具備人類的語言能力，這一點 Chomsky 說得沒錯，它是人類獨有的。但這個獨有能力，是在一個已經擁有空間、時間、物體、因果關係這些概念的底座上，才長出來的。

另一條線是個體發生（ontogeny），也就是一個人的成長。嬰兒先有對世界的視覺理解，才有語言。所有人類語言裡的構造，都依賴空間和時間這些概念。而空間和時間從哪裡來？Malik 說，只能從我們所在世界裡的感知和行動來。

## 圖靈測試這條路，走偏了

圖靈在 1950 年那篇《計算機器與智慧》裡提出用對話來判斷機器智慧。Malik 認為這在當時是合理的，但今天不該繼續沿著這條路走。

> 圖靈測試已經不適合用來引導 AI 研究了。它會把研究引向一條路：造一個能騙你幾分鐘的聊天機器人。（Jitendra Malik）

他的替代方案是列一張清單，十項各不相同的任務。造工具、在空間裡導航、理解視覺場景、讀小說、根據小說裡的內容回答任意問題。

其中他最看重的一項，是**給盲人做助手**。

> 真正好的測試，是做盲人的助手。假設有一個盲人，我需要去幫助他。（Jitendra Malik）

這個測試的精妙之處在於，它把視覺和行動強制耦合在一起。一個好的視覺助手不能只說“前面有一個桌子”，它得判斷盲人此刻要幹嘛，得描述有用的資訊，得在危險逼近時及時提醒。這種任務看上去樸素，但難度非常高。它要求系統理解場景、理解意圖、理解時間上的緊迫性。

從能力清單的角度，Malik 認為最難的仍然是語言。

他說視覺是父母、語言是孩子，但他也說過**語言是最硬的那塊骨頭**。這句話初看有點矛盾，視覺是長輩，怎麼晚輩反而更難？

理解這一點，要回到“難”這個詞的定義。視覺雖然佔用了大量皮層，但它的迴路、任務邊界、物理先驗都相對明確。語言不一樣。語言理解需要大量常識、意圖推斷、世界知識、語境把握，這些能力中有些可能連人類研究者都說不清楚底層機制是什麼。Malik 把語言理解歸到“已知的未知加未知的未知”這一類裡，難度不在一個量級上。

## 計算機視覺的希爾伯特問題

1900 年，希爾伯特提出 23 個數學問題，其中最著名的黎曼猜想至今未解。Malik 在 2015 年做過一個報告，題目大意就是“計算機視覺的希爾伯特問題”。讓他今天再點一遍，他挑了兩個。

第一個是**長時段影片理解**。給一段影片，理解裡面正在發生什麼，不只識別動作，還要理解參與者的目標、意圖、可能的下一步。

> 短時長的動作分類，比如你是坐著、站著還是在接球，這些現在能做了。哪怕不夠準，50% 的準確率，明年能做到 65%。但長時段的影片理解，今天我做不到。（Jitendra Malik）

難點在於它必須和認知能力接上。追蹤多個主體、理解主體各自的目標、預測這些主體之間接下來會發生什麼，已經超出感知系統的邊界。

他舉了一個經典例子：去餐館。

走進去、有人帶位、服務員過來、遞選單、點菜、菜上來、最後賬單送過來。這個過程有隱性劇本。上世紀 70 年代的 AI 圈對此有專門的術語，叫 frame、script、schema。當時的做法是手工寫規則：餐館場景有幾個角色、有哪幾個階段、每個階段會發生什麼。有了這套指令碼，只看一段描述就能做出大量推斷。

Malik 認為這套知識今天依然必不可少，只是不能再手工編碼。手工編碼太脆弱，換個場景就崩。

**學習版的指令碼**存在嗎？他相信存在，因為孩子就是這樣學會的。沒有哪個媽媽會系統性地教孩子“餐館的流程分幾個階段、角色有哪幾類”。孩子跟著家裡去餐館十次，自然就有了餐館的 schema。

第二個希爾伯特問題是**三維理解**。表面上看這個問題像是三十年前就解決了，因為多視幾何早就能做三維重建。但 Malik 說今天的系統還不夠。

目前有兩類技術，彼此割裂。一類是多視幾何，用多張圖片做立體視覺或從運動中恢復結構。這類技術在只有一張照片時完全失效，因為它依賴多個視角。另一類是單視角的三維估計，用有監督學習，訓練時有物體的 CAD 模型作為標籤。

問題在於，**CAD 模型從來不是人類學習三維的方式**。人的大腦裡沒被注入過 CAD 模型。人類學三維的方式，是拿著一個物體翻來覆去地看，從不同角度看，然後內化出一個可以用來預測新視角的內部表徵。下次只看到一張照片，照片裡甚至不是同一把椅子，也能大致猜出它的三維形狀。

這就是他想要的東西：**邊移動邊學習三維**，把重建能力藏在表徵裡，不以 CAD 模型的形式存在，而以“能預測新視角”的能力存在。你給它一個位置，它能告訴你從那個位置會看到什麼。

## 黑箱這件事，人類自己也是

聊到這種表徵無法解釋、無法視覺化、無法互動的時候，Malik 的反應出人意料地平靜。

> 我覺得這沒關係。首先，人類本身就是不可解釋的。一個人對另一個人，從來不是完全可解釋的。（Jitendra Malik）

但他沒有一刀切。他給可解釋性劃出了一個明確的適用邊界：**醫療診斷這類涉及切身後果的場景**。

假設一個程式給出診斷，按這個診斷，病人應該選治療方案 A 還是 B。這時候病人有權知道，這個預測是基於什麼資料得出的。如果訓練資料全部來自三四十歲的美國男性，把它用在一個完全不同的族群身上，誤差範圍有多大？這個預測該打幾分折扣？

Malik 把可解釋性的訴求，重新定義成了一件更樸素的事：**給出誤差範圍，給出對決策質量的感覺**。系統需要老實交代自己有多可靠。把內部機制翻譯成人話，他沒把這件事當成目標。

而在另一類場景裡，他願意犧牲可解釋性。他相信會出現效能極強、內部完全是黑箱的系統。這已經是正在發生的事。

他順著這個話題開了個玩笑，但這個玩笑裡有一點真東西。人和人之間也是黑箱。那些有魅力的人，並不會真的把腦內機制開啟給對面看，他們只是講了一個足夠有說服力的故事，讓對方相信“我知道自己在幹什麼”。

照這個邏輯推下去，神經網路也不用真的解釋自己的內部。它只需要生成一個說得通的故事。

## 人類級別的智慧，什麼時候能到

Malik 把這個問題拆成兩半。

原則上能不能做到？答案是能。

未來二十年內能不能做到？答案是**不能**。

他借用了 Rumsfeld 那句話，已知的未知和未知的未知。在他看來，視覺和機器人領域的大部分問題屬於前者：他知道難點在哪，知道大概要往哪走，只是還沒走到。而自然語言理解和高階認知屬於後者：不只不知道答案，連問題本身的結構都還沒摸清。

既然問題都還沒定義清楚，給出任何時間表都是幻想。

他對“十年內出現 AGI”這類恐懼的判斷很直接：**這些恐懼建立在對技術進展速度完全不現實的模型上**。

但有件事他願意承認。他自己也被深度學習的效果驚到過。2010 年的時候，他絕不會相信這套東西能這麼有效。當時的數學理論告訴他，凸最佳化可靠，有唯一全域性最優的時候，梯度下降能收斂。而深度學習面對的是非凸、變數數巨大、嚴重過引數化的系統，按理說不該穩定工作。可它就是穩定地工作了，從各種各樣的初始化出發，在一大類問題上都管用。

這個正向的意外讓他對未知的未知保留了一點樂觀：也許哪天會冒出一個根本性的突破，把所有事情變簡單。

但他也提醒了另一面：**AI 的歷史大部分時間，是進展比預期更慢，而非更快**。所以賭“會有驚喜”可以，但不能把驚喜當成計劃的前提。

## 該擔心的年份在日曆上找不到

關於 AI 風險，Malik 的立場很清楚：

> 今天就需要擔心 AI，不必等到 AGI 出現的那一天。AI 已經被部署在很多系統裡了。（Jitendra Malik）

偏見、不公平的決策、自動駕駛撞到行人，這些都是已經在發生的事。他提到亞利桑那那起 Uber 事故，說那不是 AGI 乾的，那是一個還很笨的智慧，但它確實殺了人。

他把這看成一件連續的事，就像所有工程和科學進步一樣：能力越大，責任越大。它需要長期持續盯著，不會某一天突然降臨。

說到今天的實際風險，話題滑到了推薦系統。

Twitter、Facebook、YouTube 背後都是推薦演算法，它們在決定你看到什麼資訊、接觸到什麼觀點。人們的生活已經被這些演算法深度塑造。而隨著演算法越來越聰明，它們對大量人群的影響力會進一步增強。

這個視角值得多想一層。很多人焦慮的“超級智慧”，形態可能不是科幻電影裡那種。它可能是**一個推薦演算法**，每天在幾十億人面前做幾十億次微小決策，每一次都在影響一個人接下來幾十分鐘的注意力、情緒和判斷。這個系統已經在執行，已經具備相當大的影響力，而人們對它的理解非常有限。

Malik 的另一個觀察更細：YouTube 正在用計算機視覺做一件很難的事，理解影片內容，把影片和最能從中受益的人連起來。這件事本身是中性甚至正向的，但它發展的方向有很多種可能，其中一些可能有害。

## 什麼叫好問題

Malik 在伯克利做了三十四年教授。他被引用超過十八萬次，帶出了許多計算機視覺、電腦科學和 AI 領域的重要研究者。

問他怎麼做到的，他先謙讓了一下。他說在頂尖大學任教有一種“福氣”帶來的成分：非常聰明、非常勤奮、非常有創造力的學生主動來敲門，這份功勞不能全算在自己頭上。

那他到底加了什麼？

**他說自己一直在教學生怎麼挑問題。**

> 在科學裡，短期的成功總是取決於技術能力。但長期的進展，真正取決於你問的問題對不對，關注的題目對不對。（Jitendra Malik）

這種“品味”沒法量化。他引了英國科學家 Peter Medawar 的說法，那位拿過諾貝爾獎的學者有本書專門講這個：**研究是一門關於“可解性”的藝術**。

問題還沒被解決，但要夠得著。它得有一塊柔軟的下腹部，有一個地方你可以下刀。缺了這個直覺，你可能對著一個鐵板問題撞一輩子，什麼也沒撞出來。

這種判斷力的價值不止在學生時代。Malik 說他最自豪的一點，是學生在他這裡畢業二十年之後，依然在做很好的研究。原因就在於那種“這個問題還沒解決，但它可解”的嗅覺，被學生帶走了。

他還說自己能提供的第二樣東西是**知識面的寬度**。他花了不少時間研究心理學、神經科學、相關的應用數學。這樣他能幫學生看到一些看似不相干的東西之間的聯絡。聰明學生往往非常深，能沿著一條路徑鑽得很深，但看得窄。他提供的是那點淺而廣的東西，配合學生的深而窄，有點價值。

這話聽上去謙虛，但分量不輕。計算機視覺領域很多重要的轉向，比如把感知和行動重新繫結、從兒童發展心理學裡借來學習正規化，正是這種跨領域寬度帶來的。他自己在這期對話裡的狀態也是這樣，從心理學跳到神經科學再跳回電腦科學，來回自如，不顯得刻意。

## 感知存在的理由，就是指導行動

如果非要給計算機視覺找一個“總問題”，Malik 的答案不是某個具體任務。

他把視線拉回五億年前的寒武紀。第一批多細胞動物出現，它們能移動，也能以某種方式看到東西。這兩件事互相成全：移動把它們帶到有食物的地方，但要往哪裡走，得靠看。

感知和行動，從那一天起就一起進化。

> 感知存在的理由是指導行動。生物系統裡，感知如果不配合行動，就沒有任何用處。（Jitendra Malik）

今天人類的視覺系統已經高度進化，可以做很多和行動無關的事，比如判斷一幅畫的美學價值。Malik 半開玩笑地說，這勉強也算在指導行動：指導你在這場拍賣裡出多少錢。但底層邏輯仍然沒變，這套系統最初的用途就是行動。

從這裡出發，他對當下分門別類的做法提出了批評。分割、三維重建、物體檢測，這些任務在會議論文和資料集上是分開的，每個都有自己的 benchmark。但這些劃分是**科學家強加的結構**，不是系統內部真實的樣子。真實發生的事是所有這些過程同時在跑，而且是一起跑，因為它們最初服務於同一個目的：幫你行動。

他說自己從 2010 年前後開始推這個觀點。當時的計算機視覺圈把每個問題當成孤立問題，配一個資料集，各自刷分。他不喜歡這種做法，因為他想看到這些任務之間的連線。心理學把視覺拆成感覺、知覺、認知三層，對應低階、中階、高階處理，但這個劃分和人們真正關心的任務對不上。所以他用力推廣一個框架，按資訊流把識別、重建、重組串起來，讓從業者意識到它們本來就連在一起。

後來的發展有點意外。深度學習革命之後，這個架構變得極其自然：共享主體表徵，多個任務頭同時輸出。他不用再宣講了，它已經成了預設的做法。

## 影片落後物體識別大約十年

靜態影象在計算機視覺史上佔了絕對主導，這件事有它的歷史原因。

Malik 把這段歷史講得很實在。七八十年代算力、記憶體、儲存全都不夠，很多技術選擇的背後是硬體限制，與理論偏好無關。當時一個常見的做法是**先做邊緣檢測，然後把原圖扔掉**。一張 256×256 的灰度圖，與其存著每個畫素的亮度值，不如只保留亮度劇變的位置。這是一種極大的壓縮，賭的是“人類能看懂線稿，那機器也行”，這樣就能省下大量計算。

今天沒人這麼幹了。ConvNet 直接處理畫素，因為已經沒有那個限制。

但影片仍然被研究得不夠。原因還是算力。Malik 說，如果是谷歌、Facebook、亞馬遜這種規模的公司，做全量影片處理依然極其困難，YouTube 全量內容上的操作，基本還得依賴九十年代的那些基礎技術。但作為一個研究者，你有更多空間，可以訓練大網路、用相對大的影片資料集。

他給了一個可以量化的判斷：

> 在我看來，影片識別大概落後物體識別十年。你可以對比資料：現在有挑戰性的影片資料集上，動作分類準確率大概 30%，這差不多是 2009 年物體檢測的水平。（Jitendra Malik）

這個對比很直觀。2009 年的物體檢測是什麼狀態？那時候深度學習還沒全面接管，整個領域還在摸路。今天影片理解就站在那個位置。至於追趕是不是也要十年，他說不好說，希望不用那麼久。

## 早期視覺：壓縮率為王

回到最底層。從影象的統計特性裡，能得到什麼？

Malik 說，人們已經知道影象裡有大量冗餘，因此可以做大幅壓縮。這件事在生物系統裡是剛需：人眼大約有 10 的 8 次方個感光細胞，而視神經只有大約 10 的 6 次方根纖維，壓縮比接近 100 比 1。不壓縮，訊號根本傳不出去。

人工神經網路的前幾層，做的正是類似的壓縮。有幾家公司在用神經網路做影象和影片壓縮，其中一家是他以前的學生創辦的，效果相當有意思。這些成功的背後，本質是影象和影片的統計規律。

但 Malik 補了一句關鍵的區分：這種壓縮是低層的。當一個人看到一張貓的圖片，只需要說一句“這是貓”，那是**語義層面的壓縮**，和前面說的統計壓縮完全不在一個層次上。前者在畫素層面去掉冗餘，後者在意義層面做概括。今天的系統把這兩件事分得很開，低層的做得不錯，高層的還在摸索。

## 自下而上和自上而下，兩條腿現在只邁了一條

這就引到了 Malik 對當下視覺系統最實質的批評之一。

現在的網路，執行時是**純自下而上**的。從原始畫素出發，一層層前饋，最後輸出“貓”或“非貓”。也就是說，推理那一刻，資訊只往一個方向流。

但訓練的時候，又是**極度自上而下**的。要給物體分割，就得準備好每個物體的邊界：這是貓的輪廓、這是椅子的輪廓、這是馬的輪廓。這些標註裡塞進了太多先驗知識。

這兩件事他都覺得不理想。

生物系統的做法不一樣。大腦裡從視網膜到 IT 區，可能只有七層左右，比 ResNet-50 的五十層淺得多。但大腦有**反饋連線**，資訊可以往回傳。Malik 說，這套反饋機制可能就是人類處理模糊刺激的方式：不確定的時候，用高層預期去修正低層判斷。

有人會說，前饋深層網路和帶反饋的淺層網路在功能上等價：反饋跑三輪，展開就變成三倍深度的前饋網路。道理沒錯，Malik 也承認這一點，但他覺得這個主題值得更深入地研究。功能等價不代表性質相同，用哪種方式實現，會影響學習效率、資料需求、泛化能力。

在訓練端，他的不滿更直接。人類分割物體用不著那麼多標註。人類看影片，看到馬在動，就能判斷“這些畫素屬於同一個東西”。格式塔心理學家早就給這個原理起了名字：**共同命運原則**（common fate）。同一個運動模式下的畫素，屬於同一個實體。

這是一條自下而上的線索，天然存在，不需要人標註。而今天的分割系統，幾乎完全靠自上而下的監督訊號。

> 在我看來，機器視覺裡這種自上而下和自下而上的互動，算是解決了，但我不覺得這個解法讓人滿意。我希望兩個階段都各帶一點對方的東西。（Jitendra Malik）

他還給了一個很實際的論證，用來回應那些不在乎“像不像人”的工程師：**如果他的路線能走通，你要的訓練資料會少得多**。這是一筆明確的成本賬，不需要講哲學。

## 分割的真正價值，不在畫輪廓

在外行看來，分割就是給物體畫輪廓，像個力氣活。Malik 認為它的意義要深得多。

> 分割能支撐這樣一個判斷：這一堆畫素是一個物體，甚至不需要知道這個物體叫什麼，也不需要知道它有什麼屬性。（Jitendra Malik）

他給這件事起了個名字：**實體化**（entification）。把一個東西從背景裡剝出來，變成一個實體。這個能力一旦有了，學詞就容易了。孩子已經能把世界切成一個個實體，媽媽說“把瓶子拿過來”，或者“貓今天怪怪的”，“瓶子”和“貓”這兩個詞就能對應到孩子已經建立好的實體上。媽媽不需要專門指著一個一個物體教名字。

**弱監督之所以能起作用，前提是你已經能把世界拆成實體。**

這只是哲學層面的意義。實際應用上，分割同樣關鍵。Malik 的團隊做過腦外傷的 CT 影像分析，放射科醫生需要精確勾畫出可能有出血的位置。這種場景裡，粗略的框選沒用，必須到畫素級。

不過他也強調，分割會牽涉認知，會隨著經驗修正。最麻煩的是非剛性物體，比如人和動物。人的各個部位可以獨立運動，人還穿衣服，顏色一塊一塊地變。要把這些畫素判斷成同一個實體，難度比分割一張桌子高得多。早期計算機視覺犯過一個錯，把分割當成純自下而上的感知任務，這低估了它的複雜性。

## 三個 R 是怎麼咬合在一起的

Malik 用一個三角框架來組織整個視覺問題。**識別（recognition）、重建（reconstruction）、重組（reorganization）**。

識別是最容易理解的一個，也是外界通常認為的“計算機視覺在做的事”：給影象打標籤。是貓還是狗？是哪一種狗的哪個品種？或者更抽象一點，是動物嗎？

重建是反向圖形學。圖形學是給定三維場景的計算機表示，渲染成一張圖。重建是把方向反過去：給一張圖，推斷它來自什麼場景、什麼物體、什麼視角、什麼材質。用 Malik 的話說，這一步是在腦子裡建造外部世界的模型。

重組，或者叫知覺組織，是最容易被忽略的一環。它處理的是“找出這些實體”。影象在內部會先被組織成一個個實體，以及實體之間的關係，而不會停留在“一堆畫素網格”的層次上。

這三者構成一個互相咬合的三角，流水線式的序列關係不足以描述它們。分割只解決其中一小部分，但它是讓另外兩個轉起來的起點。實體被切出來了，識別才有物件可標；實體被切出來了，重建才知道要給哪些東西建模。

Malik 說，這個框架推了十年，今天已經不需要推了。深度學習時代的多頭架構、共享表徵，天然就是這個樣子。他要做的事從“佈道”變成了“解釋這件事為什麼本來就是這樣”。

## 大腦和晶片，兩筆不同的賬

關於算力，Malik 有一個講了二十年的觀點。

早年他的說法是：我們的計算機算力還不夠，比不上人腦。這個判斷有一層很具體的物理基礎。神經元很慢，比電晶體慢得多，但神經元數量巨大、連線極其密集。矽片上的電晶體納秒級切換，快得離譜，但連線數通常少得多。兩邊在做一筆完全不同的交易：一邊用海量低速單元換連線密度，一邊用極速單元換速度。

到了 2020 年前後，這個判斷需要更新了。按 Hans Moravec 在九十年代做的估算，今天最先進的 GPU 叢集，算力可能已經和大腦處於可比量級。但 Malik 加了一個限定：**不是同一種風格**。

最關鍵的差異在能效。GPU 的計算方式比人腦、比其他生物系統耗能高得多。這個差距不是小事。要構建真正大規模、能在現實世界裡持續執行的系統，能效必須解決。這既是環保問題，也是可行性問題：一臺耗電到一個城市級別的機器，沒法塞進一個身體裡到處跑。

## 模擬這條路，他願意下注

如果要用“像孩子一樣學習”的路線，有個繞不過去的條件：孩子能主動玩資料。他能拿起一個物體翻來覆去地看，能自己選擇看什麼，能設計小實驗。這在機器學習裡叫主動學習。

Malik 認為這條路要兩條腿走。

一條是真實的機器人。有質量的、有轉動慣量的、有摩擦的物理身體，在真實世界裡做動作。機器人透過一連串動作，學會自己身體的性質。

另一條是模擬。他所在的 Facebook AI Research 團隊做過一個叫 **Habitat** 的環境，是一個視覺上相當逼真的室內和城市場景模擬器。你在裡面走動，就能得到和真實場景接近的畫面。他預期下一代模擬器會在力、質量、觸覺互動上也做到逼真。到那時候，就有了一個可以隨便折騰的沙盒。

為什麼“能行動”這麼重要？Malik 給了一個非常明確的技術理由：**這是打破相關性與因果性壁壘的一條路**。

因果推斷裡最可靠的手段是隨機對照試驗，醫學界就是這麼幹的：選一批情況，對其中一部分施加干預，對另一部分不施加，然後比對結果。而孩子每天都在做小規模的隨機對照試驗。他把東西扔下去，看它掉；他推一下，看它滾。每一次都在修正自己對世界的因果模型。

他提到同事 Alison Gopnik 有本書叫《搖籃裡的科學家》（The Scientist in the Crib）。書名裡的類比他很喜歡：科學家想建立因果模型，科學家做對照實驗，孩子在做同樣的事。

關於 Judea Pearl 那句“深度學習不過是曲線擬合”，Malik 不完全同意。他的態度是：因果性重要，但它不是一個銀彈，不是一條單一原則，裡面有很多不同的側面。用行動去做干預實驗，是其中很實在的一面。

他對模擬沒有根本性的懷疑。計算機圖形學已經證明了這條路能走多遠：八十年代只能做視覺上的真實，頭髮和毛皮都做不了，後來做出來了；再往後物理互動也做不了，一碗玻璃掉下來碎裂，後來也做出來了。圖形學的人在正向渲染上，從光學互動做到物理互動，一路推進。反過來做模擬器，沒理由做不到，只是有些部分非常吃算力，但辦法會一點點找出來。

這裡有個容易被忽略的推論。如果模擬真的能做到物理層面逼真，那麼“資料不夠”這個困擾視覺領域多年的問題，會變成“模擬夠不夠真”的問題。前者靠收集，成本隨時間線性增長；後者靠建模，一旦對了，邊際成本趨近於零。這也是為什麼 Malik 願意在模擬上下注，它是有槓桿的那一端。

## 從“沒用的小圈子”到“成熟但沒做完”

訪談裡有一個問題，問的是如果能讓 Malik 重活人生中的某個瞬間，他會選哪一個。

他沒挑某個具體時刻，把視線放到了很長的時間裡。他說自己運氣很好，因為科學研究裡很大一部分是“在對的時間出現在對的地方”。你可以選一個太早的問題，撞得頭破血流，因為成功的前提條件根本不存在。也可以選一個已經徹底成熟的領域，只能在瑣碎的邊角上做文章，一層套一層的花邊。

他說自己趕上了一個特別的時間窗。入行的時候，計算機視覺就是個“瘋狂、絕對沒用、什麼都做不了”的小圈子。三十四年教授生涯裡，他一路看著這個領域變成能真正解決實際問題、能給生物學和天文學提供工具的東西。

有人開玩笑說，五百年後的人大概會笑話他把今天這個領域稱為“成熟”。他說這很有可能。

這個自我定位裡有種罕見的誠實。他既不為自己的領域辯護，也不唱衰它，就是把它放在一個合適的位置上：比昨天成熟得多，比明天原始得多。Mature but not done，成熟了，但沒做完。

順著這個態度往下想，會發現它其實回答了前面所有問題。為什麼他要回到兒童發展心理學？因為一個沒做完的領域需要新的燃料，而現有燃料（標註資料、更大模型、更長訓練）正在變得越來越貴。為什麼他要強調感知和行動的繫結？因為行動是唯一能提供因果訊號的東西，而因果訊號是現有資料給不了的。為什麼他對近期完全自動駕駛悲觀？因為最後那 0.01% 恰恰需要他最看重的那類能力。

這些觀點不是散落的，它們指向同一個方向：**視覺的下一個臺階，在資料規模和模型規模之外**。

## 滑板者那個例子，值得再想一遍

整期對話裡，滑板者這個細節資訊密度最高。

一個系統在標準資料集上的分數再高，遇到路上一個不按常規走位的滑板者依然會錯。這種錯誤沒法靠更多標註資料直接修掉，因為標註資料解決的是“這是什麼”，而這個錯誤出在“他接下來會做什麼”。後者需要一整套關於人的行為的先驗，而這類先驗在資料標註裡是缺席的。

Malik 說，原則上只要資料夠多，這個問題可以解決。見過足夠多的滑板者，就能學到滑板者的行為模式。但他立刻加了一句：**現在的視覺系統要達到人類同等的能力，需要的資料量遠遠超過人類**。一個十六歲的孩子沒在路上見過幾次滑板者，就能做出合理預判；一個系統可能要看成千上萬次。

這個差距用資料量填不平，只能靠學習機制的改變來填。這也是他反覆講“白板學習”的原因：白板學習在處理邊緣情況時效率極低，而邊緣情況恰恰是安全的全部內容。

成功第一步的謬誤，在這一層上體現得最清楚。高速直線行駛的自動駕駛，九十年代就演示過了；城市道路的常規工況，最近這些年也做得不錯。剩下那點尾巴，看上去只是 1%，實際上是另一個量級的工程和科學問題。

## 把這些問題帶回今天的工作裡

Malik 反覆回到同一件事：**人對難度的判斷，系統性地偏低**。

1966 年那十個學生不算狂妄，他們只是不知道視覺的大部分工作發生在意識之下。成功第一步的謬誤，讓每一代人都以為再往前一步就到底了，結果每次都是一分鐘拿到 50%，五年拿到 99%，剩下的那點尾巴看不到頭。

他從這個觀察裡得出的建議相當樸素：承認自己站在半山腰，承認前面的路看不清，承認下一代人會覺得今天的一切都很原始。然後挑一個還沒解決但夠得著的問題，找到它柔軟的下腹部，下刀。

訪談裡還有一個細節值得一提。Malik 說，短期的成功取決於技術能力，長期的進展取決於問題選得對不對。這句話在當下這個節奏裡格外有用。AI 領域的技術迭代速度極快，任何人只要肯花時間，都能把當紅的工具用熟。真正拉開差距的，是在一堆熱門問題裡判斷出哪個還沒有被解決、但已經接近可解。這種判斷力沒有速成法，只能靠跨領域的閱讀和長期的觀察慢慢養出來。

他自己就是這種判斷力的產物。從心理學借來感知與行動的框架，從兒童發展借來學習正規化，從圖形學借來模擬的可能性，這些跨界的動作在單看時都顯得偶然，連起來才發現是一條線。

如果要把這期內容轉成自己能用的東西，可以從下面這些開始：

- 遇到一個進展飛快的新任務，先判斷自己處在“成功第一步”的哪個位置。50% 到 90% 花一天，90% 到 99% 花五年，這個比例感能幫你決定什麼時候該加投入，什麼時候該換方向。
- 評估一個視覺或感知系統時，別隻看標準資料集上的分數，先看它在訓練分佈之外的邊緣案例上會怎麼錯。滑板者、突然開啟的卡車後擋板，這類場景才是真實的失敗點。
- 做多模態專案時，把時間對齊當成免費的監督訊號。視覺和聽覺在同一時刻發生的事，大機率有因果關係，這個標籤不需要人來打。
- 模型嚴重依賴人工標註時，先問一句：人類做這個任務真的需要這麼多標註嗎？共同命運、運動一致性、跨模態校準，這些自下而上的線索往往被白白浪費。
- 做長影片理解，把“隱式劇本”當成設計目標。餐館、地鐵、超市，每個場景都有一套預設流程，系統需要能學到這套流程，只在幾秒鐘的片段上做動作分類遠遠不夠。
- 做三維任務時，警惕對 CAD 模型的依賴。人類靠移動和觀察內化三維結構，訓練資料的形態如果離這個過程太遠，泛化能力會受限。
- 需要可解釋性的場景，把目標定在“給出誤差範圍和決策質量”，而非強求把內部機制翻譯成人話。人類專家同樣是黑箱，但他們能交代自己有多確定。
- 討論 AI 風險時，把注意力從二三十年後的 AGI 挪到今天已經在執行的系統上。推薦演算法、醫療診斷、自動駕駛，這些已經在做出影響真實生活的決策。
- 挑研究題目，用“可解性”當標準，而非“重要性”或“熱度”。問題要還沒被解決，但要有一塊柔軟的下腹部，能讓你下刀。
- 給自己留一塊跨領域的閱讀時間。心理學、神經科學、圖形學裡那些看起來和日常工作無關的東西，往往是判斷“哪個問題值得做”時的資訊來源。