# 吉滕德拉·马利克：计算机视觉 > 梳理计算机视觉的演进，从早期几何方法到深度学习，以及视觉智能与生物感知的关联。 - 原标题：#110 – Jitendra Malik: Computer Vision - 期数：第 110 期 - 发布日期：2020-07-21 - 嘉宾 / 主题：吉滕德拉·马利克：计算机视觉 - 网页版：https://lex.qiaomu.ai/ep/jitendra-malik/ - 官方页面：https://lexfridman.com/jitendra-malik/ - 精读字数：约 9725 字（阅读约 22 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 1966 年，西摩·帕普特（Seymour Papert）和马文·明斯基（Marvin Minsky）写了一份提案，名字叫 Summer Vision Project。他们打算召集一批学生，用一个暑期的时间，把计算机视觉问题解决掉。 这份提案里列出的任务清单，今天读起来依然熟悉：分割、识别、三维重建、场景理解。半个多世纪过去，这些任务仍然挂在每一个计算机视觉会议的主页上。吉滕德拉·马利克（Jitendra Malik）在伯克利做了 34 年教授，他提到这件事时没有嘲讽的意思，反而说这几乎是可以原谅的：早期的研究者并不清楚自己在面对什么。 他给这种现象起了个名字，**成功第一步的谬误**（the fallacy of the successful first step）。 > 很多视觉问题里，拿到 50% 的解法，你花一分钟就够了；做到 90%，可能要花一天；做到 99%，也许要五年；而 99.99%，可能你这辈子都看不到。（Jitendra Malik） 这条曲线解释了为什么计算机视觉的历史充满了周期性的亢奋与幻灭。每过十年，就会有新的方法让指标从 30% 冲到 60%，新闻标题随之而来，然后所有人发现，从 60% 到 95% 的那段路，比前面所有路加起来都长。 ## 视觉为什么会骗过我们 马利克的解释很朴素。人类看东西这件事，绝大部分处理发生在意识之外。你可以清楚地感觉到自己是怎么做一道数学题的，一步接着一步，推导过程全在意识里。但你没法感觉到自己是怎么认出面前这张脸的。 视觉的处理藏在意识下面，所以它给人一种毫不费力的错觉。等到研究者真的拆开来看，才发现大脑皮层里一大块区域都专职为视觉服务，其他灵长类动物也一样。一个占用了这么多神经资源的系统，不可能是简单的。 他不太满意心理学里那个经典的划分：感觉（sensation）、知觉（perception）、认知（cognition）。上世纪的研究者常常说，我们只研究知觉，把那些需要推理的部分归类为"认知"，然后排除在外。马利克认为这堵墙是人为砌出来的，视觉问题在所有层级上是连续的，每一层都有各自的难题。 今天的深度学习技术，低层和中层的表现最好。高层的、需要认知参与的部分，恰恰是真实应用里绕不开的。 ## 为什么他对完全自动驾驶不乐观 访谈中 Lex 提到特斯拉的 Autopilot：八路摄像头，一个多任务神经网络，HydraNet，多个输出头共享同一套底层表示。他问，驾驶能不能被转化成纯粹的视觉问题，然后靠学习解决。 马利克的回答分成两半。 高速公路上的自动驾驶，早在 1980 年代就有慕尼黑的恩斯特·迪克曼斯（Ernst Dickmanns）做出过演示，1990 年代卡内基梅隆有 Navlab 项目，2000 年代他的伯克利团队和斯坦福都做过。这类受约束的场景是可以做的。 真正的难点在于所有驾驶条件。他给出的判断是，总会有 0.01% 的极端情况需要相当高级的认知推理。他自称对近期的完全自动驾驶是悲观派。 他拿自己那辆特斯拉举例。有一次系统对一个滑板少年做出了错误反应。原因不复杂：模型见过大量行人，知道行人的典型行为，但滑板少年的运动模式跟行人有本质差异。要处理这种情况，你需要专门见过足够多的滑板少年。 这里面藏着一个比数据量更深的问题。马利克说，**感知的任务除了描述现在，还要预测接下来会发生什么**。因为现在是无聊的，已经结束了，人真正关心的是未来，因为人要依据未来行动。 > 感知总是要告诉我们将会发生什么。现在这一刻已经过去了。（Jitendra Malik） 所以预测其他智能体的行为，被他划进了视觉的范畴。感知平滑地过渡到认知，中间没有清晰的分界线。 ## 十六岁的少年已经是视觉天才 谈到学习方法，马利克提出一个对照。 目前深度学习最有效的一套做法，他称之为白板学习（tabula rasa learning）：给一个空白系统喂进海量带标注的样本，让它学出输入到输出的映射。这套方法在计算机视觉里效果惊人。 但人类学开车不是这么学的。一个十六岁的孩子坐进驾驶课教室的时候，他已经算得上视觉天才了。从零岁到十六岁，他积累了一整套视觉能力，而且大部分在出生后两年内就已经到位：他知道世界是三维的，知道物体从不同角度看是什么样，知道遮挡，知道人和动物的常见运动方式，甚至有一套朴素的物理直觉。 那么驾驶课上他在学什么？他在学控制。学怎么把方向盘和刹车做得平顺，学典型交通情境的样貌。因为他是带着成熟的视觉能力进来的，所以教育过程可以很短。 关键在后面。马利克说，他在驾驶课上学的东西，覆盖不了未来会遇到的场景。他可能从没在课上遇到过滑板少年，也没遇到过前面卡车后门打开、掉下一堆杂物。但他能处理。凭的是那套通用的视觉知识和经验，而不是驾驶课教的任何具体规则。 问题就落在这里：今天的神经网络能不能做这种长期的知识积累？马利克认为原理上没问题，但学习技术必须大幅演化。现有技术的主体是监督学习，而人类的学习远比这丰富。一个孩子抓起一个物体在手里翻来覆去地看，从不同视角观察它，而这个观察顺序是他自己安排的。孩子看到的数据由自己亲手安排出来，丰富程度远超任何数据集。 ## 算力和能耗的错位 关于大脑和计算机的算力对比，马利克提了汉斯·莫拉维克（Hans Moravec）在上世纪 90 年代做过的估算。有一个流传很广的权衡：神经元比晶体管慢得多，但数量庞大、连接密度极高；硅基器件速度快到纳秒级，连接数却少得多。 到了 2020 年，如果只看最新的 GPU 集群，算力在数量级上可能已经追平大脑。但风格完全不同。最直接的差别是能耗：GPU 做同样的计算，耗电远远超过人脑。 他认为这个问题必须解决。要构建真正大规模的现实世界系统，能效比绕不过去。 ## 视觉存在的意义是指导行动 Lex 问了一个很大的问题：计算机视觉的核心问题到底是什么？ 马利克的回答要回到生物学。他的判断是，**感知的存在意义是指导行动**。生物系统如果没有把感知和行动耦合起来，感知就产生不了任何收益。 他把时间轴推回到五亿年前的寒武纪，第一批多细胞动物出现，它们能移动，也能以某种方式感知光。这两件事互相成就：移动让你能到不同地方获取食物，但你得知道往哪去，这就需要感知。最早的那些反馈回路非常简单，无非是找食物，或者避免自己成为食物。**用他的话说，根本上是"找吃的，或者别被吃"。** 演化推进下去，感知为越来越多的目的服务，变得日益复杂。到今天，人类拥有了看起来相当通用的能力，可以在头脑中建立一个外部世界的模型。这个模型并不完美，心理学家乐于用各种视错觉来展示它的缺陷，但它从五亿年前那个简单的感知动作回路出发，走了很远。 由此推下去，分割、三维重建、目标检测这些被分门别类的任务，其实是科学家为了研究方便强加的结构。真实系统里，这些过程同时在跑，因为它们原本共同服务于行动。 Lex 接着调侃说，也许货币交换才是最根本的行动，看电影的快乐最终转化成 Netflix 订阅。马利克笑着承认，在 homo economicus 的角色里，跟公司打交道时确实如此。 ## 为什么视频比图像落后十年 马利克提到一段历史选择。上世纪 70、80、90 年代的计算机视觉研究，很多决定是被硬件逼出来的。没有存储、没有算力，所以研究者检测边缘，找出亮度剧烈变化的位置，然后把原图丢掉。一张 256x256 的图像，只留下边缘，压缩比极高，逻辑是"人类能看懂线稿"，这样能省下计算。 今天已经没人这么做了，卷积网络直接处理图像。但视频计算依然困难。他给了一个可以量化的说法：**视频识别大致落后目标识别十年**。动作分类任务上，当前模型的准确率在 30% 左右，这相当于 2009 年前后目标检测的水平。 他还补了一句现实观察。大学研究者做视频计算是可以的，你可以用比较大的视频数据集训练大网络。但在谷歌、Facebook 这个量级上，处理视频仍然极其困难。他刚和负责 YouTube 搜索与发现的工程副总裁聊过，要在 YouTube 全部内容的规模上做事情，用的还是 90 年代那套基础技术。 ## 餐厅剧本：长视频理解缺的那块拼图 Lex 问，动作识别要想进步，是不是需要注入知识库和推理？ 马利克用了心理学的"图式"（schema）概念，并给了经典例子：去餐厅。你走进去，有人领你到桌前，服务员过来递菜单，点单，上菜，最后结账。这个流程有固定顺序、固定角色、固定阶段。 上世纪 70 年代，AI 研究者用"框架""脚本""图式"这些近似的概念来处理这类知识，方式是手工编码。把餐厅的各个阶段、各个角色写进程序，然后用它去理解一段关于吃饭的文字，因为你知道餐厅里通常发生什么，就能推出大量文本里没写的信息。 马利克认为这类知识绝对必要，长视频理解尤其需要。而当前的技术，几秒钟片段上的三维卷积，本质上是为短期视频理解设计的。长期理解需要目标、意向性、功能性这些概念。 怎么把这些知识引进来？可以像 70 年代那样手工写脚本，也可以尝试学出来。他倾向于后者，理由是学习得到的东西更鲁棒。而且孩子就是学出来的。没有哪个母亲会系统地教孩子餐厅的全部流程，一家人去吃十次饭，孩子自然就有了"去餐厅"的图式。 ## 图灵那篇论文结尾的一句话 《计算机器与智能》这篇论文的最后，图灵写了一句很多人听说过、很少人真读过的话：与其做一个模拟成人思维的程序，为什么不试着做一个模拟儿童思维的程序？ 马利克认为这句话被严重低估了。今天的计算机视觉基准测试，目标几乎都是"成人水平"：识别一千类物体、在标准数据集上刷分。缺的是儿童式的测试。 他提到的方向是收集儿童成长过程中真正接触的数据，语言环境是什么样的，视觉环境是什么样的。这条路涉及隐私问题，但已经有团队在做。他认为这个方向很有希望。 不过他马上补了一个反例：人类模仿自然并不总是成功的。**飞机就没有扇动的翅膀。**这一点他自己承认还没想清楚，只能先押注在"像孩子一样学习"这一边。 ## 让孩子做实验，让机器人做实验 儿童学习的一个核心特征，马利克强调，是交互性。孩子能主动摆弄他要学习的数据，你能选择自己看什么、碰什么。 他把实现路径分成两条，认为应该同时走。 一条是真实机器人。物理身体有动力学、有质量、有转动惯量、有摩擦。机器人靠做一系列动作来认识自己的身体。 另一条是仿真环境。他所在的 Facebook 研究团队做过一个叫 Habitat 的项目，是一个视觉上接近照片级真实的仿真器，里面有房屋内部和各种城市空间。你在里面移动，看到的是相当准确的画面。**他的预期是，后续几代仿真器会在视觉之外，把力、质量、运动方向也做准确。** 为什么行动能力这么重要？马利克给出一个具体理由：**这是打破相关性与因果性之间那道墙的一条路**。他提到朱迪亚·珀尔（Judea Pearl）在这个话题上的观点，珀尔把深度学习的全部成功形容为"曲线拟合"，认为因果被忽视了。马利克不完全同意这个说法，他觉得珀尔有点危言耸听，但承认因果确实重要。 他接着拆解了"因果"这个词。它跟银弹无关，也说不上单一原理，包含很多侧面。医学界建立因果联系最可靠的方法是随机对照试验：控制变量，一组施加干预，一组不施加。 而孩子一直在做随机对照试验，只是规模很小。他提到同事艾莉森·戈普尼克（Alison Gopnik）的书《摇篮里的科学家》（The Scientist in the Crib），书名本身就说明了观点：科学家要建立因果模型，科学家做对照实验，孩子也在做同样的事。 ## 图像统计能榨出多少信息 回到视觉的最底层。图像统计能告诉我们什么？ 马利克的回答是冗余。图像里有大量冗余，所以压缩可以做得很深。这在生物系统里是硬约束：视网膜上大约有 10 的 8 次方个感光细胞，视神经里只有 10 的 6 次方根纤维，压缩比接近 100 比 1。人工神经网络在早期层里做的，某种意义上是同一件事。 已有不少公司在用神经网络做图像和视频压缩，他的一位前学生就在做这个方向，效果不错。 但有个边界。这些方法压缩的是像素层面的统计规律。当他看到一张猫的照片，他脑子里冒出来的那句话说"这是一只猫"，那是语义层面的压缩，和前面的统计压缩完全是两回事。 ## 前馈与反馈：两种解法的等价性 马利克提出了他对当前系统最大的不满之一。 今天的视觉模型在推理时是完全自底向上的：从原始像素出发，前馈到底，输出"是猫"或"不是猫"。而训练时恰恰相反，是高度自顶向下的，靠人工标注告诉你这是猫、那是狗、那是斑马。 他把这两条路彻底分开了，而且都不满意。 生物视觉不长这样。大脑里的视觉处理包含反馈连接，而且网络浅得多。从视网膜到视觉皮层，大概七八层。计算机视觉里用的 ResNet-50 有 50 层。 为什么浅网络加反馈能行？马利克解释，**一个带三轮反馈的网络，展开之后就是三倍深度的前馈网络，两者在功能上等价**。他的判断是，这种反馈机制值得进一步研究，测试阶段应该引入更多自顶向下的成分。训练阶段则相反，现在用的自顶向下知识太多了：要学会分割一个物体，得准备大量标注好"这是猫的边界、这是椅子的边界"的样本。 人类怎么做的？靠的东西少得多。比如看一段视频，马在动，这个运动本身就能让所有像素归到一起。格式塔心理学家把这叫"共同命运"原则（common fate），分组过程走的是自底向上这条路。而今天的系统几乎完全依赖自顶向下的训练信号。纯粹以工程为导向的人也能得到一个理由：**如果这个研究议程走通，你需要的训练数据会少得多。** ## 分割为什么重要 Lex 请他把分割讲得通俗一些。计算机视觉的人一致认为给物体画出轮廓线很重要，这件事跟画个框再分类有什么区别？ 马利克的回答有点绕，但很关键。**分割让你能把一组像素认定为一个物体，甚至不需要给这个物体命名，也不需要知道它的任何属性。** 这为什么重要？因为它让命名这件事变得廉价。孩子先有了把物体从背景里分离出来的能力，当妈妈说"把你的瓶子捡起来"或者"猫今天是不是有点怪"，"猫"这个词对应到某个物体上，映射就自动完成了。母亲不需要指着每个物体教一遍标签。在有了"制造物体"的能力之后，弱监督就能工作起来。 他还举了一个很实际的应用：医学诊断。他的团队做过创伤性脑损伤的 CT 扫描分析，放射科医生需要精确勾画出可能出血的位置。这类需求是刚性的。 分割不是语义无关的。他承认早期计算机视觉的一个错误，就是把它当成纯粹的自底向上感知任务。真实的分割概念会随经验修正。比如动物和人的身体不是刚体，人的各个部位可以独立移动，还穿着不同颜色的衣服，理解"这些画面都属于同一个实体"本身就是个难题。 ## 识别、重建、重组 2010 年前后，马利克开始推一个三件套的框架，用来替代"低层、中层、高层视觉"这种划分。他认为后一种划分对应不上研究者真正关心的问题。他的三个词是：识别（recognition）、重建（reconstruction）、重组（reorganization）。 识别最容易理解，就是打标签：这是猫吗，是吉娃娃吗，是哪一种鸟。标签可以很细，也可以很抽象，比如"动物"。 重建可以理解为逆向图形学。图形学是从场景的计算机表示出发，渲染出像素。重建反过来：给一张图，反推出它来自哪些物体、从什么视角拍的、物体的形状和纹理大概是什么样。这是在脑子里建外部世界的模型。 重组是关于找出实体的。心理学里有个词叫"知觉组织"：世界在内部不是一堆像素，我们制造出物体这些实体，以及实体之间的关系。 这三件事组成一个三角形，互相供给信息。重组定义世界里的实体，识别给实体贴标签，重建给每个实体补上三维形状这类原始数据里没有的信息。 有意思的是，深度学习的兴起让这个框架变得不言自明。多输出头共享同一套底层表示，恰好就是三角形结构。马利克说，**他现在不用再到处宣讲这套框架了，它已经成了解法空间的一部分。** ## 多模态：免费的交叉校准信号 马利克引用了琳达·史密斯（Linda Smith）和迈克尔·加瑟（Michael Gasser）的论文《婴儿教给我们的六件事》：多模态、增量式、具身、探索、社会性、语言。他说这些在儿童发展领域属于常识，在计算机视觉和机器学习圈子里却不是。 他把自己的角色定位成搭桥。 多模态的例子他很喜欢。一个孩子拿着球玩，手上收到触觉信号，稀疏，但包含三维形状的信息；同时眼睛收到视觉信号，像素构成完全不同的空间。两个信号来自同一个物体，交叉校准的强度极高，而且**是自监督的，没有人来贴标签，孩子甚至不需要知道这个东西叫"球"**。 听觉和视觉的搭配同理。桌上的玻璃碗掉下来摔碎，你听到破碎声，同时看到玻璃碎片。两个信号在时间上对齐，因果上相关。 还有一个具体例子：鸡尾酒会效应，从混杂的声音里分离出单个说话者，这在听觉领域是经典难题。**但只要引入视觉，看到谁在说话，问题会变得容易得多。**马利克说这个方向目前研究得还很少，但潜力很大。 ## 视觉是父母，语言是孩子 Lex 搬出了乔姆斯基：乔姆斯基认为语言可能是认知的核心。他问马利克，视觉和语言的关系是什么？哪个更根本？ 马利克的回答毫不含糊：视觉是父母。 他给了两条证据线。系统发生上，视觉在五亿年前就出现了。到了大约七百万年前，人科谱系从其他灵长类中分出来，第一批两足行走的猿出现，手被解放出来，可以做操作、做工具，脑容量在这一时期显著增长。语言出现的时间点不确定，但一定在这之后。其他灵长类没有语言，乔姆斯基在"语言是人类独有能力"这一点上是对的。 个体发生上，顺序也是一样的。语言建立在一个基底之上。三四百万年前的祖先已经有了空间智能：知道世界由物体构成，知道物体之间有位置关系，观察过物体间的因果互动，能在空间里移动。空间和时间的概念从哪来？从感知和行动中来。语言里大量结构依赖于空间和时间，而这些概念的源头不可能是语言本身。 ## 图灵测试已经不是对的研究方向 图灵提出的智能测试，核心是语言。马利克不认为这是个好的研究方向了。 他的理由很直接：图灵在 1950 年提这个测试是为了解决一个特定问题，模仿游戏。放到 70 年后的今天，这条路径会把研究引向"造一个能骗人五分钟的聊天机器人"。 他更愿意要一份十个任务的清单。**操作类任务、导航类任务、视觉理解类任务、读故事并回答问题。**他自己最喜欢的语言理解任务是：读一本小说，然后能回答关于它的任意问题。 至于语言和视觉哪个更难啃，他的排序是：**语言是最难的那颗坚果。** 他解释了这个排序，用的是拉姆斯菲尔德那套三分法：已知的已知、已知的未知、未知的未知。在视觉和机器人领域，他觉得面对的是"已知的未知"，他知道要往哪走，知道要解决哪些问题，只是还没解决。但在自然语言理解和高层认知上，除了已知的未知，还有未知的未知。**这意味着给不出任何时间表。** Lex 追问，未知的未知会不会是积极的那种，某个突破让整件事变简单？ 马利克说这有可能，因为他自己就被正面惊喜过。2010 年的时候，他绝不会相信深度学习系统能这么有效。当时数学理论告诉他的是：凸优化能工作是因为存在单一全局最优，梯度下降有保证。而这些非线性、非凸、参数量巨大、还过参数化的系统，理论上完全没有保证。真正玩过它们的人知道它们能行，这套东西带点"黑魔法"的味道。他没预料到的是，它们能在这么广泛的问题上稳定工作。 但他也提醒，历史上更多的时候是进展比预期慢。他认为那些"十年内、二十年内出现 AGI"的恐惧是没有根据的，因为它们建立在对这个领域进展速度的完全不现实的估计上。 ## 今天已经在杀人的，是愚笨的智能 关于 AI 风险，马利克有一个清晰的立场：这事今天就得担心，不必等到超级智能出现。 AI 系统正在被部署，医疗诊断、自动驾驶、简历筛选。当这些系统犯错时，后果是真实的，而人在某种意义上要为后果负责。他把这看成一件持续的事，跟所有工程和科学进步一样，能力越大责任越大。他反对把这个问题想象成某一天突然降临，然后需要一个聪明的设计来解决。 亚利桑那州那起自动驾驶致死事故，他点得很明确：**那起事故里没有超级智能，杀人的那个系统相当愚笨。** Lex 顺着往下说，他认为当下真正值得担忧的，是推荐系统。Twitter、Facebook、YouTube 的背后都是机器学习算法，它们在决定人们接触什么信息。一个人今天知道的大部分东西，是由这些算法推荐来的。他说，那个决定你下一个该看什么 YouTube 视频的算法，已经控制了数十亿人，它已经在某种意义上是超级智能了。 马利克同意这个观察。他指出 YouTube 正在用计算机视觉理解视频内容，好把视频和最能从中获益的观众连起来。这个方向可以往好几条路走，有些是有害的。 ## 好问题有柔软的下腹部 访谈快结束时，Lex 问了一个关于导师的问题。马利克带出过计算机视觉和 AI 领域很多顶级研究者，他到底做对了什么？ 马利克的回答很谦逊。他说自己运气好，学生本来就极其聪明勤奋有创造力，而他在伯克利，好学生自己会敲门，这部分功劳得还给学校。 那他自己加了什么？**挑选问题的品味。** 他给了一个判断：科学里，短期成功靠技术能力，你数学快、代码强，就能出活。但长期进展取决于问对问题、聚焦对的问题。他觉得自己能给学生的，就是对"什么问题是好问题"的感觉，以及"这个问题值不值得现在做，还是应该等十年"的判断。 他引了彼得·梅达沃（Peter Medawar）的一本书，书名就把观点说完了：《可解决的技艺》（The Art of the Soluble）。要找那些还没解决、但可以被接近的问题。 马利克用的比喻很形象：**一个好问题有柔软的下腹部，有地方可以让你把矛捅进去。**没有这种直觉，你就只能拿头撞墙。 他提到的第二样东西是智力广度。他花了不少时间研究心理学、神经科学、应用数学，所以他可能帮学生看到一些本来注意不到的联系。他说学生往往在某一个点上钻得极深，而他提供的是浅而宽的视野，配上学生的窄而深，这两种能力放在一起才有价值。 关于自己的学术生涯，他没有挑出某个具体的幸福时刻。他说的是运气的另一种形式：**在对的时间站在对的地方**。做研究，太早做会白费力气，前提条件不具备，撞得头破血流也没结果；太晚做，领域已经成熟，只能在边角上修修补补。他在伯克利待了 34 年，入场时计算机视觉还是个"疯狂、完全没用"的小领域，什么都做不了，而现在它解决大量实际问题，还为生物图像、天文等领域提供了工具。他说自己赶上了这个领域既年轻、又开始成熟的阶段。 Lex 说，五百年后的人听到你管这个领域叫"成熟"，大概会笑。马利克答：很有可能。 ## 如果今天要动手，从哪儿开始 这场访谈里最实用的部分，是马利克反复回到的那条判断标准。这套标准跟模型结构无关，也跟数据集规模无关，它只关心一件事：这个问题现在处在哪个阶段。 - 评估一个视觉或者 AI 任务时，先把"从 90% 到 99% 的边际成本"估出来。如果团队只看了 demo 阶段的曲线，很容易把一分钱的活和五年的活当成同一类。成功第一步的谬误，几乎每个项目都会踩一次。 - 当你的模型犯了一个在人看来很蠢的错，先别急着加参数。问一句：训练数据里有没有这个特定群体？滑板少年和行人是两类运动模式，人靠常识区分，模型只有靠见过。缺的往往不是容量，是覆盖。 - 做多模态时，优先找那些"同时发生"的信号，用时间对齐做免费的自监督。触觉与视觉、声音与画面，两个信号指向同一个事件，就等于一次自动的交叉校准，标注成本可以省掉一大块。 - 处理长视频、长文档、长会话时，考虑引入结构化的先验知识，比如事件脚本、角色、目标。几秒钟片段的卷积网络做不了长期理解，缺的正是那层可复用的情境框架。 - 要不要在系统里加反馈回路，可以自己算一笔账：带三轮反馈的网络展开就是三倍深度的前馈网络。如果任务里存在模糊刺激需要反复修正，反馈通常比单纯加深更划算，而且更接近人脑的做法。 - 如果你的应用对错误零容忍，可解释性就不只是研究趣味。医疗诊断这类场景里，参照类（reference class）差异会让统计结论直接失效，此时需要的是误差范围和判断依据，而不是一个答案。 - 选研究方向时，用梅达沃的标准过一遍：这个问题是太早、太晚，还是正好有一个柔软的下腹部？能清楚说出别人没解决但你已经看到突破口在哪，这个课题就值得投入。 - 部署任何决策系统之前，先问它会不会被用在数亿人身上。推荐系统是当下规模最大、影响最直接的 AI 应用，它不需要超级智能就已经在塑造人们的所见所知。 马利克这代人做计算机视觉的时候，这个领域看起来毫无用处。等到它真的有用时，一批人已经钻进去了几十年。他对进展的乐观和保留，都来自这几十年的曲线起伏，这部分经验比任何一个具体结论都值得带走。