# 吉滕德拉·馬利克：計算機視覺 > 梳理計算機視覺的演進，從早期幾何方法到深度學習，以及視覺智慧與生物感知的關聯。 - 原標題：#110 – Jitendra Malik: Computer Vision - 期數：第 110 期 - 釋出日期：2020-07-21 - 嘉賓 / 主題：吉滕德拉·馬利克：計算機視覺 - 網頁版：https://lex.qiaomu.ai/tw/ep/jitendra-malik/ - 官方頁面：https://lexfridman.com/jitendra-malik/ - 精讀字數：約 9725 字（閱讀約 22 分鐘） > 本文為 lex.qiaomu.ai 基於原始訪談的 AI 改寫中文精讀，非官方翻譯；引用請註明出處並連結網頁版。 1966 年，西摩·帕普特（Seymour Papert）和馬文·明斯基（Marvin Minsky）寫了一份提案，名字叫 Summer Vision Project。他們打算召集一批學生，用一個暑期的時間，把計算機視覺問題解決掉。 這份提案裡列出的任務清單，今天讀起來依然熟悉：分割、識別、三維重建、場景理解。半個多世紀過去，這些任務仍然掛在每一個計算機視覺會議的主頁上。吉滕德拉·馬利克（Jitendra Malik）在伯克利做了 34 年教授，他提到這件事時沒有嘲諷的意思，反而說這幾乎是可以原諒的：早期的研究者並不清楚自己在面對什麼。 他給這種現象起了個名字，**成功第一步的謬誤**（the fallacy of the successful first step）。 > 很多視覺問題裡，拿到 50% 的解法，你花一分鐘就夠了；做到 90%，可能要花一天；做到 99%，也許要五年；而 99.99%，可能你這輩子都看不到。（Jitendra Malik） 這條曲線解釋了為什麼計算機視覺的歷史充滿了週期性的亢奮與幻滅。每過十年，就會有新的方法讓指標從 30% 衝到 60%，新聞標題隨之而來，然後所有人發現，從 60% 到 95% 的那段路，比前面所有路加起來都長。 ## 視覺為什麼會騙過我們 馬利克的解釋很樸素。人類看東西這件事，絕大部分處理發生在意識之外。你可以清楚地感覺到自己是怎麼做一道數學題的，一步接著一步，推導過程全在意識裡。但你沒法感覺到自己是怎麼認出面前這張臉的。 視覺的處理藏在意識下面，所以它給人一種毫不費力的錯覺。等到研究者真的拆開來看，才發現大腦皮層裡一大塊區域都專職為視覺服務，其他靈長類動物也一樣。一個佔用了這麼多神經資源的系統，不可能是簡單的。 他不太滿意心理學裡那個經典的劃分：感覺（sensation）、知覺（perception）、認知（cognition）。上世紀的研究者常常說，我們只研究知覺，把那些需要推理的部分歸類為"認知"，然後排除在外。馬利克認為這堵牆是人為砌出來的，視覺問題在所有層級上是連續的，每一層都有各自的難題。 今天的深度學習技術，低層和中層的表現最好。高層的、需要認知參與的部分，恰恰是真實應用裡繞不開的。 ## 為什麼他對完全自動駕駛不樂觀 訪談中 Lex 提到特斯拉的 Autopilot：八路攝像頭，一個多工神經網路，HydraNet，多個輸出頭共享同一套底層表示。他問，駕駛能不能被轉化成純粹的視覺問題，然後靠學習解決。 馬利克的回答分成兩半。 高速公路上的自動駕駛，早在 1980 年代就有慕尼黑的恩斯特·迪克曼斯（Ernst Dickmanns）做出過演示，1990 年代卡內基梅隆有 Navlab 專案，2000 年代他的伯克利團隊和斯坦福都做過。這類受約束的場景是可以做的。 真正的難點在於所有駕駛條件。他給出的判斷是，總會有 0.01% 的極端情況需要相當高階的認知推理。他自稱對近期的完全自動駕駛是悲觀派。 他拿自己那輛特斯拉舉例。有一次系統對一個滑板少年做出了錯誤反應。原因不復雜：模型見過大量行人，知道行人的典型行為，但滑板少年的運動模式跟行人有本質差異。要處理這種情況，你需要專門見過足夠多的滑板少年。 這裡面藏著一個比資料量更深的問題。馬利克說，**感知的任務除了描述現在，還要預測接下來會發生什麼**。因為現在是無聊的，已經結束了，人真正關心的是未來，因為人要依據未來行動。 > 感知總是要告訴我們將會發生什麼。現在這一刻已經過去了。（Jitendra Malik） 所以預測其他智慧體的行為，被他划進了視覺的範疇。感知平滑地過渡到認知，中間沒有清晰的分界線。 ## 十六歲的少年已經是視覺天才 談到學習方法，馬利克提出一個對照。 目前深度學習最有效的一套做法，他稱之為白板學習（tabula rasa learning）：給一個空白系統喂進海量帶標註的樣本，讓它學出輸入到輸出的對映。這套方法在計算機視覺裡效果驚人。 但人類學開車不是這麼學的。一個十六歲的孩子坐進駕駛課教室的時候，他已經算得上視覺天才了。從零歲到十六歲，他積累了一整套視覺能力，而且大部分在出生後兩年內就已經到位：他知道世界是三維的，知道物體從不同角度看是什麼樣，知道遮擋，知道人和動物的常見運動方式，甚至有一套樸素的物理直覺。 那麼駕駛課上他在學什麼？他在學控制。學怎麼把方向盤和剎車做得平順，學典型交通情境的樣貌。因為他是帶著成熟的視覺能力進來的，所以教育過程可以很短。 關鍵在後面。馬利克說，他在駕駛課上學的東西，覆蓋不了未來會遇到的場景。他可能從沒在課上遇到過滑板少年，也沒遇到過前面卡車後門開啟、掉下一堆雜物。但他能處理。憑的是那套通用的視覺知識和經驗，而不是駕駛課教的任何具體規則。 問題就落在這裡：今天的神經網路能不能做這種長期的知識積累？馬利克認為原理上沒問題，但學習技術必須大幅演化。現有技術的主體是監督學習，而人類的學習遠比這豐富。一個孩子抓起一個物體在手裡翻來覆去地看，從不同視角觀察它，而這個觀察順序是他自己安排的。孩子看到的資料由自己親手安排出來，豐富程度遠超任何資料集。 ## 算力和能耗的錯位 關於大腦和計算機的算力對比，馬利克提了漢斯·莫拉維克（Hans Moravec）在上世紀 90 年代做過的估算。有一個流傳很廣的權衡：神經元比電晶體慢得多，但數量龐大、連線密度極高；矽基器件速度快到納秒級，連線數卻少得多。 到了 2020 年，如果只看最新的 GPU 叢集，算力在數量級上可能已經追平大腦。但風格完全不同。最直接的差別是能耗：GPU 做同樣的計算，耗電遠遠超過人腦。 他認為這個問題必須解決。要構建真正大規模的現實世界系統，能效比繞不過去。 ## 視覺存在的意義是指導行動 Lex 問了一個很大的問題：計算機視覺的核心問題到底是什麼？ 馬利克的回答要回到生物學。他的判斷是，**感知的存在意義是指導行動**。生物系統如果沒有把感知和行動耦合起來，感知就產生不了任何收益。 他把時間軸推回到五億年前的寒武紀，第一批多細胞動物出現，它們能移動，也能以某種方式感知光。這兩件事互相成就：移動讓你能到不同地方獲取食物，但你得知道往哪去，這就需要感知。最早的那些反饋迴路非常簡單，無非是找食物，或者避免自己成為食物。**用他的話說，根本上是"找吃的，或者別被吃"。** 演化推進下去，感知為越來越多的目的服務，變得日益複雜。到今天，人類擁有了看起來相當通用的能力，可以在頭腦中建立一個外部世界的模型。這個模型並不完美，心理學家樂於用各種視錯覺來展示它的缺陷，但它從五億年前那個簡單的感知動作迴路出發，走了很遠。 由此推下去，分割、三維重建、目標檢測這些被分門別類的任務，其實是科學家為了研究方便強加的結構。真實系統裡，這些過程同時在跑，因為它們原本共同服務於行動。 Lex 接著調侃說，也許貨幣交換才是最根本的行動，看電影的快樂最終轉化成 Netflix 訂閱。馬利克笑著承認，在 homo economicus 的角色裡，跟公司打交道時確實如此。 ## 為什麼影片比影象落後十年 馬利克提到一段歷史選擇。上世紀 70、80、90 年代的計算機視覺研究，很多決定是被硬體逼出來的。沒有儲存、沒有算力，所以研究者檢測邊緣，找出亮度劇烈變化的位置，然後把原圖丟掉。一張 256x256 的影象，只留下邊緣，壓縮比極高，邏輯是"人類能看懂線稿"，這樣能省下計算。 今天已經沒人這麼做了，卷積網路直接處理影象。但影片計算依然困難。他給了一個可以量化的說法：**影片識別大致落後目標識別十年**。動作分類任務上，當前模型的準確率在 30% 左右，這相當於 2009 年前後目標檢測的水平。 他還補了一句現實觀察。大學研究者做影片計算是可以的，你可以用比較大的影片資料集訓練大網路。但在谷歌、Facebook 這個量級上，處理影片仍然極其困難。他剛和負責 YouTube 搜尋與發現的工程副總裁聊過，要在 YouTube 全部內容的規模上做事情，用的還是 90 年代那套基礎技術。 ## 餐廳劇本：長影片理解缺的那塊拼圖 Lex 問，動作識別要想進步，是不是需要注入知識庫和推理？ 馬利克用了心理學的"圖式"（schema）概念，並給了經典例子：去餐廳。你走進去，有人領你到桌前，服務員過來遞選單，點單，上菜，最後結賬。這個流程有固定順序、固定角色、固定階段。 上世紀 70 年代，AI 研究者用"框架""指令碼""圖式"這些近似的概念來處理這類知識，方式是手工編碼。把餐廳的各個階段、各個角色寫程序序，然後用它去理解一段關於吃飯的文字，因為你知道餐廳裡通常發生什麼，就能推出大量文字里沒寫的資訊。 馬利克認為這類知識絕對必要，長影片理解尤其需要。而當前的技術，幾秒鐘片段上的三維卷積，本質上是為短期影片理解設計的。長期理解需要目標、意向性、功能性這些概念。 怎麼把這些知識引進來？可以像 70 年代那樣手工寫指令碼，也可以嘗試學出來。他傾向於後者，理由是學習得到的東西更魯棒。而且孩子就是學出來的。沒有哪個母親會系統地教孩子餐廳的全部流程，一家人去吃十次飯，孩子自然就有了"去餐廳"的圖式。 ## 圖靈那篇論文結尾的一句話 《計算機器與智慧》這篇論文的最後，圖靈寫了一句很多人聽說過、很少人真讀過的話：與其做一個模擬成人思維的程式，為什麼不試著做一個模擬兒童思維的程式？ 馬利克認為這句話被嚴重低估了。今天的計算機視覺基準測試，目標幾乎都是"成人水平"：識別一千類物體、在標準資料集上刷分。缺的是兒童式的測試。 他提到的方向是收集兒童成長過程中真正接觸的資料，語言環境是什麼樣的，視覺環境是什麼樣的。這條路涉及隱私問題，但已經有團隊在做。他認為這個方向很有希望。 不過他馬上補了一個反例：人類模仿自然並不總是成功的。**飛機就沒有扇動的翅膀。**這一點他自己承認還沒想清楚，只能先押注在"像孩子一樣學習"這一邊。 ## 讓孩子做實驗，讓機器人做實驗 兒童學習的一個核心特徵，馬利克強調，是互動性。孩子能主動擺弄他要學習的資料，你能選擇自己看什麼、碰什麼。 他把實現路徑分成兩條，認為應該同時走。 一條是真實機器人。物理身體有動力學、有質量、有轉動慣量、有摩擦。機器人靠做一系列動作來認識自己的身體。 另一條是模擬環境。他所在的 Facebook 研究團隊做過一個叫 Habitat 的專案，是一個視覺上接近照片級真實的模擬器，裡面有房屋內部和各種城市空間。你在裡面移動，看到的是相當準確的畫面。**他的預期是，後續幾代模擬器會在視覺之外，把力、質量、運動方向也做準確。** 為什麼行動能力這麼重要？馬利克給出一個具體理由：**這是打破相關性與因果性之間那道牆的一條路**。他提到朱迪亞·珀爾（Judea Pearl）在這個話題上的觀點，珀爾把深度學習的全部成功形容為"曲線擬合"，認為因果被忽視了。馬利克不完全同意這個說法，他覺得珀爾有點危言聳聽，但承認因果確實重要。 他接著拆解了"因果"這個詞。它跟銀彈無關，也說不上單一原理，包含很多側面。醫學界建立因果聯絡最可靠的方法是隨機對照試驗：控制變數，一組施加干預，一組不施加。 而孩子一直在做隨機對照試驗，只是規模很小。他提到同事艾莉森·戈普尼克（Alison Gopnik）的書《搖籃裡的科學家》（The Scientist in the Crib），書名本身就說明了觀點：科學家要建立因果模型，科學家做對照實驗，孩子也在做同樣的事。 ## 影象統計能榨出多少資訊 回到視覺的最底層。影象統計能告訴我們什麼？ 馬利克的回答是冗餘。影象裡有大量冗餘，所以壓縮可以做得很深。這在生物系統裡是硬約束：視網膜上大約有 10 的 8 次方個感光細胞，視神經裡只有 10 的 6 次方根纖維，壓縮比接近 100 比 1。人工神經網路在早期層裡做的，某種意義上是同一件事。 已有不少公司在用神經網路做影象和影片壓縮，他的一位前學生就在做這個方向，效果不錯。 但有個邊界。這些方法壓縮的是畫素層面的統計規律。當他看到一張貓的照片，他腦子裡冒出來的那句話說"這是一隻貓"，那是語義層面的壓縮，和前面的統計壓縮完全是兩回事。 ## 前饋與反饋：兩種解法的等價性 馬利克提出了他對當前系統最大的不滿之一。 今天的視覺模型在推理時是完全自底向上的：從原始畫素出發，前饋到底，輸出"是貓"或"不是貓"。而訓練時恰恰相反，是高度自頂向下的，靠人工標註告訴你這是貓、那是狗、那是斑馬。 他把這兩條路徹底分開了，而且都不滿意。 生物視覺不長這樣。大腦裡的視覺處理包含反饋連線，而且網路淺得多。從視網膜到視覺皮層，大概七八層。計算機視覺裡用的 ResNet-50 有 50 層。 為什麼淺網路加反饋能行？馬利克解釋，**一個帶三輪反饋的網路，展開之後就是三倍深度的前饋網路，兩者在功能上等價**。他的判斷是，這種反饋機制值得進一步研究，測試階段應該引入更多自頂向下的成分。訓練階段則相反，現在用的自頂向下知識太多了：要學會分割一個物體，得準備大量標註好"這是貓的邊界、這是椅子的邊界"的樣本。 人類怎麼做的？靠的東西少得多。比如看一段影片，馬在動，這個運動本身就能讓所有畫素歸到一起。格式塔心理學家把這叫"共同命運"原則（common fate），分組過程走的是自底向上這條路。而今天的系統幾乎完全依賴自頂向下的訓練訊號。純粹以工程為導向的人也能得到一個理由：**如果這個研究議程走通，你需要的訓練資料會少得多。** ## 分割為什麼重要 Lex 請他把分割講得通俗一些。計算機視覺的人一致認為給物體畫出輪廓線很重要，這件事跟畫個框再分類有什麼區別？ 馬利克的回答有點繞，但很關鍵。**分割讓你能把一組畫素認定為一個物體，甚至不需要給這個物體命名，也不需要知道它的任何屬性。** 這為什麼重要？因為它讓命名這件事變得廉價。孩子先有了把物體從背景裡分離出來的能力，當媽媽說"把你的瓶子撿起來"或者"貓今天是不是有點怪"，"貓"這個詞對應到某個物體上，對映就自動完成了。母親不需要指著每個物體教一遍標籤。在有了"製造物體"的能力之後，弱監督就能工作起來。 他還舉了一個很實際的應用：醫學診斷。他的團隊做過創傷性腦損傷的 CT 掃描分析，放射科醫生需要精確勾畫出可能出血的位置。這類需求是剛性的。 分割不是語義無關的。他承認早期計算機視覺的一個錯誤，就是把它當成純粹的自底向上感知任務。真實的分割概念會隨經驗修正。比如動物和人的身體不是剛體，人的各個部位可以獨立移動，還穿著不同顏色的衣服，理解"這些畫面都屬於同一個實體"本身就是個難題。 ## 識別、重建、重組 2010 年前後，馬利克開始推一個三件套的框架，用來替代"低層、中層、高層視覺"這種劃分。他認為後一種劃分對應不上研究者真正關心的問題。他的三個詞是：識別（recognition）、重建（reconstruction）、重組（reorganization）。 識別最容易理解，就是打標籤：這是貓嗎，是吉娃娃嗎，是哪一種鳥。標籤可以很細，也可以很抽象，比如"動物"。 重建可以理解為逆向圖形學。圖形學是從場景的計算機表示出發，渲染出畫素。重建反過來：給一張圖，反推出它來自哪些物體、從什麼視角拍的、物體的形狀和紋理大概是什麼樣。這是在腦子裡建外部世界的模型。 重組是關於找出實體的。心理學裡有個詞叫"知覺組織"：世界在內部不是一堆畫素，我們製造出物體這些實體，以及實體之間的關係。 這三件事組成一個三角形，互相供給資訊。重組定義世界裡的實體，識別給實體貼標籤，重建給每個實體補上三維形狀這類原始資料裡沒有的資訊。 有意思的是，深度學習的興起讓這個框架變得不言自明。多輸出頭共享同一套底層表示，恰好就是三角形結構。馬利克說，**他現在不用再到處宣講這套框架了，它已經成了解法空間的一部分。** ## 多模態：免費的交叉校準訊號 馬利克引用了琳達·史密斯（Linda Smith）和邁克爾·加瑟（Michael Gasser）的論文《嬰兒教給我們的六件事》：多模態、增量式、具身、探索、社會性、語言。他說這些在兒童發展領域屬於常識，在計算機視覺和機器學習圈子裡卻不是。 他把自己的角色定位成搭橋。 多模態的例子他很喜歡。一個孩子拿著球玩，手上收到觸覺訊號，稀疏，但包含三維形狀的資訊；同時眼睛收到視覺訊號，畫素構成完全不同的空間。兩個訊號來自同一個物體，交叉校準的強度極高，而且**是自監督的，沒有人來貼標籤，孩子甚至不需要知道這個東西叫"球"**。 聽覺和視覺的搭配同理。桌上的玻璃碗掉下來摔碎，你聽到破碎聲，同時看到玻璃碎片。兩個訊號在時間上對齊，因果上相關。 還有一個具體例子：雞尾酒會效應，從混雜的聲音裡分離出單個說話者，這在聽覺領域是經典難題。**但只要引入視覺，看到誰在說話，問題會變得容易得多。**馬利克說這個方向目前研究得還很少，但潛力很大。 ## 視覺是父母，語言是孩子 Lex 搬出了喬姆斯基：喬姆斯基認為語言可能是認知的核心。他問馬利克，視覺和語言的關係是什麼？哪個更根本？ 馬利克的回答毫不含糊：視覺是父母。 他給了兩條證據線。系統發生上，視覺在五億年前就出現了。到了大約七百萬年前，人科譜系從其他靈長類中分出來，第一批兩足行走的猿出現，手被解放出來，可以做操作、做工具，腦容量在這一時期顯著增長。語言出現的時間點不確定，但一定在這之後。其他靈長類沒有語言，喬姆斯基在"語言是人類獨有能力"這一點上是對的。 個體發生上，順序也是一樣的。語言建立在一個基底之上。三四百萬年前的祖先已經有了空間智慧：知道世界由物體構成，知道物體之間有位置關係，觀察過物體間的因果互動，能在空間裡移動。空間和時間的概念從哪來？從感知和行動中來。語言裡大量結構依賴於空間和時間，而這些概念的源頭不可能是語言本身。 ## 圖靈測試已經不是對的研究方向 圖靈提出的智慧測試，核心是語言。馬利克不認為這是個好的研究方向了。 他的理由很直接：圖靈在 1950 年提這個測試是為了解決一個特定問題，模仿遊戲。放到 70 年後的今天，這條路徑會把研究引向"造一個能騙人五分鐘的聊天機器人"。 他更願意要一份十個任務的清單。**操作類任務、導航類任務、視覺理解類任務、讀故事並回答問題。**他自己最喜歡的語言理解任務是：讀一本小說，然後能回答關於它的任意問題。 至於語言和視覺哪個更難啃，他的排序是：**語言是最難的那顆堅果。** 他解釋了這個排序，用的是拉姆斯菲爾德那套三分法：已知的已知、已知的未知、未知的未知。在視覺和機器人領域，他覺得面對的是"已知的未知"，他知道要往哪走，知道要解決哪些問題，只是還沒解決。但在自然語言理解和高層認知上，除了已知的未知，還有未知的未知。**這意味著給不出任何時間表。** Lex 追問，未知的未知會不會是積極的那種，某個突破讓整件事變簡單？ 馬利克說這有可能，因為他自己就被正面驚喜過。2010 年的時候，他絕不會相信深度學習系統能這麼有效。當時數學理論告訴他的是：凸最佳化能工作是因為存在單一全域性最優，梯度下降有保證。而這些非線性、非凸、引數量巨大、還過引數化的系統，理論上完全沒有保證。真正玩過它們的人知道它們能行，這套東西帶點"黑魔法"的味道。他沒預料到的是，它們能在這麼廣泛的問題上穩定工作。 但他也提醒，歷史上更多的時候是進展比預期慢。他認為那些"十年內、二十年內出現 AGI"的恐懼是沒有根據的，因為它們建立在對這個領域進展速度的完全不現實的估計上。 ## 今天已經在殺人的，是愚笨的智慧 關於 AI 風險，馬利克有一個清晰的立場：這事今天就得擔心，不必等到超級智慧出現。 AI 系統正在被部署，醫療診斷、自動駕駛、簡歷篩選。當這些系統犯錯時，後果是真實的，而人在某種意義上要為後果負責。他把這看成一件持續的事，跟所有工程和科學進步一樣，能力越大責任越大。他反對把這個問題想象成某一天突然降臨，然後需要一個聰明的設計來解決。 亞利桑那州那起自動駕駛致死事故，他點得很明確：**那起事故里沒有超級智慧，殺人的那個系統相當愚笨。** Lex 順著往下說，他認為當下真正值得擔憂的，是推薦系統。Twitter、Facebook、YouTube 的背後都是機器學習演算法，它們在決定人們接觸什麼資訊。一個人今天知道的大部分東西，是由這些演算法推薦來的。他說，那個決定你下一個該看什麼 YouTube 影片的演算法，已經控制了數十億人，它已經在某種意義上是超級智慧了。 馬利克同意這個觀察。他指出 YouTube 正在用計算機視覺理解影片內容，好把影片和最能從中獲益的觀眾連起來。這個方向可以往好幾條路走，有些是有害的。 ## 好問題有柔軟的下腹部 訪談快結束時，Lex 問了一個關於導師的問題。馬利克帶出過計算機視覺和 AI 領域很多頂級研究者，他到底做對了什麼？ 馬利克的回答很謙遜。他說自己運氣好，學生本來就極其聰明勤奮有創造力，而他在伯克利，好學生自己會敲門，這部分功勞得還給學校。 那他自己加了什麼？**挑選問題的品味。** 他給了一個判斷：科學裡，短期成功靠技術能力，你數學快、程式碼強，就能出活。但長期進展取決於問對問題、聚焦對的問題。他覺得自己能給學生的，就是對"什麼問題是好問題"的感覺，以及"這個問題值不值得現在做，還是應該等十年"的判斷。 他引了彼得·梅達沃（Peter Medawar）的一本書，書名就把觀點說完了：《可解決的技藝》（The Art of the Soluble）。要找那些還沒解決、但可以被接近的問題。 馬利克用的比喻很形象：**一個好問題有柔軟的下腹部，有地方可以讓你把矛捅進去。**沒有這種直覺，你就只能拿頭撞牆。 他提到的第二樣東西是智力廣度。他花了不少時間研究心理學、神經科學、應用數學，所以他可能幫學生看到一些本來注意不到的聯絡。他說學生往往在某一個點上鑽得極深，而他提供的是淺而寬的視野，配上學生的窄而深，這兩種能力放在一起才有價值。 關於自己的學術生涯，他沒有挑出某個具體的幸福時刻。他說的是運氣的另一種形式：**在對的時間站在對的地方**。做研究，太早做會白費力氣，前提條件不具備，撞得頭破血流也沒結果；太晚做，領域已經成熟，只能在邊角上修修補補。他在伯克利待了 34 年，入場時計算機視覺還是個"瘋狂、完全沒用"的小領域，什麼都做不了，而現在它解決大量實際問題，還為生物影象、天文等領域提供了工具。他說自己趕上了這個領域既年輕、又開始成熟的階段。 Lex 說，五百年後的人聽到你管這個領域叫"成熟"，大概會笑。馬利克答：很有可能。 ## 如果今天要動手，從哪兒開始 這場訪談裡最實用的部分，是馬利克反覆回到的那條判斷標準。這套標準跟模型結構無關，也跟資料集規模無關，它只關心一件事：這個問題現在處在哪個階段。 - 評估一個視覺或者 AI 任務時，先把"從 90% 到 99% 的邊際成本"估出來。如果團隊只看了 demo 階段的曲線，很容易把一分錢的活和五年的活當成同一類。成功第一步的謬誤，幾乎每個專案都會踩一次。 - 當你的模型犯了一個在人看來很蠢的錯，先別急著加引數。問一句：訓練資料裡有沒有這個特定群體？滑板少年和行人是兩類運動模式，人靠常識區分，模型只有靠見過。缺的往往不是容量，是覆蓋。 - 做多模態時，優先找那些"同時發生"的訊號，用時間對齊做免費的自監督。觸覺與視覺、聲音與畫面，兩個訊號指向同一個事件，就等於一次自動的交叉校準，標註成本可以省掉一大塊。 - 處理長影片、長文件、長會話時，考慮引入結構化的先驗知識，比如事件指令碼、角色、目標。幾秒鐘片段的卷積網路做不了長期理解，缺的正是那層可複用的情境框架。 - 要不要在系統里加反饋迴路，可以自己算一筆賬：帶三輪反饋的網路展開就是三倍深度的前饋網路。如果任務裡存在模糊刺激需要反覆修正，反饋通常比單純加深更划算，而且更接近人腦的做法。 - 如果你的應用對錯誤零容忍，可解釋性就不只是研究趣味。醫療診斷這類場景裡，參照類（reference class）差異會讓統計結論直接失效，此時需要的是誤差範圍和判斷依據，而不是一個答案。 - 選研究方向時，用梅達沃的標準過一遍：這個問題是太早、太晚，還是正好有一個柔軟的下腹部？能清楚說出別人沒解決但你已經看到突破口在哪，這個課題就值得投入。 - 部署任何決策系統之前，先問它會不會被用在數億人身上。推薦系統是當下規模最大、影響最直接的 AI 應用，它不需要超級智慧就已經在塑造人們的所見所知。 馬利克這代人做計算機視覺的時候，這個領域看起來毫無用處。等到它真的有用時，一批人已經鑽進去了幾十年。他對進展的樂觀和保留，都來自這幾十年的曲線起伏，這部分經驗比任何一個具體結論都值得帶走。