# 史蒂文·平克：理性时代的人工智能 > 认知科学家谈语言与理性的演化基础、AI 带来的风险与机遇，以及启蒙价值在当下的意义。 - 原标题：Steven Pinker: AI in the Age of Reason - 期数：特别节目 - 发布日期：2018-10-17 - 嘉宾 / 主题：史蒂文·平克 - 网页版：https://lex.qiaomu.ai/ep/steven-pinker/ - 官方页面：https://lexfridman.com/steven-pinker/ - 精读字数：约 8599 字（阅读约 19 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 埃隆·马斯克说过，人工智能比核武器危险得多，很可能摧毁人类文明。史蒂文·平克（Steven Pinker）的回应只有一句：这个类比从根本上就错了。 核武器的全部设计目的就是摧毁东西，人工智能的设计目的是解决问题。把它们放在一起比较，就像因为锤子和外科医生都涉及"打击"这个词，就把它们归成一类。 这场访谈里，Lex Fridman 把平克请来，聊的正是这件事。平克是哈佛大学的认知心理学家，写过《语言本能》《心智探奇》《白板》《人性中的善良天使》《当下的启蒙》。他花了三十年研究语言、心智和暴力史，习惯用数据说话，也习惯对流行的恐慌泼冷水。AI威胁论逐渐成为硅谷某种默认共识的那几年，他的立场显得很不合群。 ## 先回答一道关于生命意义的选择题 访谈一开始，Lex 给平克出了一道选择题。生命的意义是什么？ A，像柏拉图说的那样追求知识。B，像尼采说的那样追求权力。C，像欧内斯特·贝克尔（Ernest Becker）说的那样逃避死亡。D，像达尔文说的那样传播基因。E，像虚无主义者说的那样根本没有意义。F，像平克二十年前在《心智探奇》里推演的那样，理解生命的意义超出了人类的认知能力。G，以上都不对。 平克的答案是A，但要修正一下。他认为最接近的是"追求知识"，不过应该把它扩大为更宽泛的**圆满**（fulfillment）：生命、健康、刺激、接入活着的文化和社会世界。 他补了一句关键的区分：这是"我们的"生命意义。基因的生命意义是另一回事，它的任务是复制自己。基因所造就的大脑，会给自己设定另一套目标。两套意义不必一致。 Lex 追问，追求知识到底是平克个人的偏好，还是人性的基本面？平克的回答是两者都是。人类有能力追求知识，因为这是我们之所以为人的东西。人类在动物界格外突出的一点，就是获取知识并用它来生存：我们造工具，用语言达成协议，提取毒物，预测动物行为，研究植物的功效。 这里的"我们"指作为物种的人类，遍布地球每一个角落，不分现代西方还是其他地区。正是这种能力使人类占据了所有生态位，也把其他动物逼向灭绝。 平克说，用理性去追求人类福祉，去追求健康、幸福、社会丰富度和文化丰富度，是当下最重要的挑战。说白了，就是用我们的智力搞清楚世界如何运转、我们自身如何运转，然后做出发现、达成协议，让所有人长期过得更好。 ## 生物神经网络里那个说不清的东西 聊完意义，话题转到智能本身。 二十年前在《心智探奇》里，平克推测人类思维可能是大量高度互联的神经元网络的产物。互连之中涌现出思想。今天用来做机器学习的神经网络，跟这套生物神经网络相比，是不是有某种更复杂、更神秘、甚至更魔幻的东西？ 平克的回答分两层。 第一层，确实有点神秘。每个身为神经网络的人都知道自己是有意识的。这里说的有意识，跟感知环境不是一回事，跟感知内部状态也不是一回事，它指的是拥有主观的第一人称、现在时的体验。看到红色的时候，红色不只是跟绿色不同，它还有一种"红感"，我能感觉到。 一个人工系统会不会有这种体验，平克说：我不知道，我也不认为我能知道。这就是它神秘的地方。 假如有一个跟人类在行为上完全无法区分的机器人，我们会认为它有意识吗？应该认为它有意识吗？这个问题很难回答。 第二层，把意识这个偏哲学的问题放到一边，还有另一个问题：今天的神经网络和人类大脑在组织方式上的差异，会不会意味着我们沿着现有轨迹走下去，永远做不出一个行为上跟人无法区分的机器人？ 平克认为两者有重叠，但差异也很大。他给出的判断是：**现在的深度学习系统，实际上并没有那么深。**它们非常擅长提取高阶统计规律，但大多数系统没有一个语义层，没有那种"谁对谁做了什么、为什么、在哪、怎么发生、什么导致了什么"的真正理解。 Lex 追问：如果网络更大、连接更丰富更怪异，这种语义层面的推理能力能不能涌现出来？ 平克先把意识拆开。意识跟复杂度是两回事。虾的复杂度不高，但我们可以合理地追问虾有没有意识，它会不会感到疼痛。所以意识这块先放一边。 至于结构化的知识，单纯的规模不够，但如果是精心设计过的，那为什么不行？自然选择对人脑做了一种相当于工程设计的操作。硅基系统做人类大脑能做的事，在原理上没有障碍。会不会真的发生，取决于我们工程做得多聪明，也取决于我们想不想，甚至取决于这件事本身是不是一个合理的目标。 ## 木头和棉花的启示 平克在这里讲了一个很有意思的类比，用来解释为什么"造出和人脑完全一样的东西"可能根本不是一个值得追求的目标。 你可以问，有没有哪种移动方式比人更好？足式运动这件事，我们最终大概是想要超过人类的。没有理由非得把人当作基准。工具比人更强，完全可能。 有些自然系统，我们造不出完全一样的替代品，但原因并不神秘，只是复制它的每一步都不划算。 比如木头。我们至今用木头盖房子、做家具。我们喜欢它的观感，喜欢它的手感，它有某些合成材料没有的特性。木头里面没有什么魔法，只是要合成出木头的一切特性，一步接一步地做下去，太费劲了，而我们本来就有木头。 再比如棉花。平克说他身上正穿着棉质衣服，感觉比涤纶舒服得多。棉花里也没有魔法，我们也不是永远合成不出跟棉花一模一样的东西，只是到了某个点，不值得。我们已经有棉花了。 平克把这套逻辑套到人类智能上：想要造一个跟人脑一模一样的人工系统，这个目标我们大概会一直追到某个程度就停下。因为如果你要的是比人干得更好的工具，你根本不在乎它像不像人。诊断癌症、预测天气，为什么要以人类为基准？ 但 Lex 接了一句：即便人不该是基准，也不该被模仿，研究人类对造AI仍然有大量可学之处。平克同意。造飞行机器的时候，我们想弄懂空气动力学，包括鸟的飞行原理，但不去模仿鸟。因为鸟和飞机遵循的是同一套物理规律。 ## 两种AI末日论，平克说都不成立 接下来进入正题。 平克把关于AI的生存性威胁分成两种，他认为两种都站不住脚。 第一种是对AI接管的模糊恐惧。逻辑是：就像我们征服了动物和技术上不那么先进的人群，如果我们造出比我们更先进的东西，它必然会把我们变成宠物、奴隶，或者某种被驯化的动物。 平克的诊断是：**这种恐惧把智力和权力意志混为一谈了。**在人类身上，这两种特质确实捆在一起，因为我们是自然选择的产物，而自然选择是一个竞争过程。跟我们解决问题的能力绑在一起的，还有一堆恶劣特质：支配、剥削、最大化权力、荣耀、资源和影响力。 但纯粹的解决问题的能力，没有理由把支配设为自己的目标之一。它的目标就是我们给它设定的目标。只要没有人去造一个权力狂式的AI，就没有理由认为它会自然朝那个方向演化。 有人可能会说，万一我们给它设的目标就是最大化自己的权力呢？平克说，那是个蠢到家的目标，你不会给一个自主系统设这种目标。这属于显而易见的愚蠢。 回看历史，有很多机会让工程师把破坏力装进某个系统，他们选择不那么做，因为这就是工程的自然过程。 Lex 插了一句：除非是武器。造武器的时候，它的目标就是杀人，所以有充分理由不去造某些类型的武器。平克顺着说，造核武器就是一个巨大的错误。 ## 核武器类比错在哪 Lex 追问：这是说核武器在早期就该被拦住吗？还是说它只是一个不幸的发明？有没有可能拦住？ 平克说，倒转时钟很难。核武器诞生在二战背景下，当时担心纳粹先造出来。一旦因为这个理由启动了，就很难停下来，尤其因为战胜日本和纳粹是当时每个负责任的人压倒一切的目标，人们愿意做任何事来确保胜利。 如果二战没有发生，核武器很可能不会被发明出来。这没法确知，但他不认为这是必然，就像其他一些被设想却从未实施的武器系统一样：像农用飞机那样在城市上空播撒毒气的飞机，在敌国制造地震和海啸的系统，把天气武器化，把太阳耀斑武器化。这些疯狂的方案，我们最后都想清楚没有去做。 然后他给出关键判断：**核武器和人工智能之间的类比从根本上就是误导的，因为核武器的全部意义就是摧毁东西，人工智能的意义是解决问题。** 这一点值得停下来想一想。当年关于AI威胁的公共讨论里，核武器是被引用最多的参照物。它给人强烈的画面感：蘑菇云、末日、不可逆。但平克指出的是，这个参照物在最基本的层面就不匹配。核弹不需要被"设计得善良"，它的存在本身就是危险。一个AI系统的危险程度，几乎完全取决于设计者给它设定了什么目标。参照物选错了，恐惧的传播方式也就跟着错。 ## 回形针假设自己拆自己台 第二种恐惧是附带损伤。 我们给AI设定一个目标，比如生产回形针，它会以极高的效率追求这个目标，还没等我们反应过来，它就把我们变成了回形针。我们给它设定治愈癌症的目标，它会把我们变成致命实验的豚鼠。我们给它设定世界和平的目标，它理解的世界和平是没有人类，因此没有打斗，于是它把我们全杀了。 平克说这些设想极其荒唐，而且本身就自我拆台。它们首先假设我们聪明到能设计出一个治愈癌症的AI，同时又蠢到没法把"治愈癌症"这件事说明白到它不会顺手杀了我们。它假设这个系统聪明到能治愈癌症，又蠢到想不通我们说的治愈癌症不包括杀死所有人。 他还提到"价值对齐问题"（value alignment problem），认为这个附带损伤的场景同样基于误解。 Lex 承认，目前我们既不知道怎么造这两种系统，也谈不上接近知道。这些东西可能一夜之间改变。但此时此刻，往任何一个方向去理论化都很难。这正是问题的核心：缺少对眼前真实工程问题的推理能力时，想象力就会失控。 ## 马斯克为什么一边造车一边害怕 Lex 问得更具体。他自己研究自动驾驶，认为特斯拉的自动驾驶是当今世界最大规模AI应用之一，对社会有潜在的非常正面的影响。那么一个正在造这种出色"狭义AI"系统的人，为什么会对"通用AI"如此担忧？动机是什么？ 平克的回答很直接：这得去问他本人。他出了名地张扬、冲动，就像我们刚看到的那样，甚至到了损害自己公司健康的程度。他也不知道马斯克脑子里在想什么。 不过平克提到，马斯克当时发过一条推文，大意是：如果连平克都搞不懂狭义AI（比如一辆车）和通用AI的区别，而后者算力是前者的一百万倍、还带一个开放式效用函数，那人类就麻烦大了。平克说，那不是马斯克最后一次发火气很大的推文。 但他不认为专用AI和所谓通用AI之间的区分是关键。专用AI也不会为了达成目标而做任何想得出来的事。所有工程系统都被设计成在多个目标之间做权衡。造车的时候，我们不会忘记装刹车，因为车的目标是跑得快。人们想到了，是的，你希望它跑得快，但不是一直快，所以也装了刹车。 同理，如果一辆自动驾驶车被编程为走最短路径去机场，它不会走对角线碾过行人、树木和栅栏，因为那不在我们对"最短路径"的定义里。这就是智能系统的定义：它把多重约束考虑进去。 如果系统真是通用智能，这一点更成立。它就不会一根筋地追求某个目标，把其他所有考虑和附带效应都忽略掉。那不叫通用人工智能，那叫通用人工愚蠢。 Lex 也表达了对自动驾驶改善人类福祉的信心。他说这个前景是惊人的，让他惊讶的是媒体很少注意到：仅在美国，每年就有大约四万人死于公路，远远超过死于恐怖袭击的人数。我们花了一万亿美元打一场反恐战争，而美国平均每年死于恐怖袭击的只有六个人左右。年复一年，四万人在公路上被屠杀，而这个数字本可以降到接近零。 他补了一句个人的感受：作为一个造这些车的人，说工程师会蠢到不去把安全性设计进系统，让他有点被冒犯。他常常熬夜想着那四万人。他做的每一件事都是为了救这些人的命。他在深度学习文献、CVPR 和 NIPS 会议上兴奋的每一个新发明，落脚点都是让它更安全、帮助人。 所以他看不出这条轨迹怎么会突然滑向一个智能产生极大负面影响的状态。 ## 被AI消灭的工作，本来就是糟糕的工作 平克同意自动驾驶的人道主义价值，并且认为这只是AI潜在人道收益的开端。 他指出了一个被忽略的角度。关于AI让哪些人失业，人们投入了巨大的关注，但很少有人注意到：**即将被淘汰的那些工作，本来就是糟糕的工作。** 不再有人去摘庄稼、铺床、开卡车、挖煤，这些是摧残灵魂的工作。我们有一整套文学作品在同情那些被困在卑微、消磨心智、危险岗位上的人。如果能消灭这些岗位，对人类是天大的好事。 当然，解决一个问题会冒出另一个问题：怎么让这些人有体面的收入。但平克说，如果我们聪明到能发明铺床、收碗、照顾病人的机器，我们大概也聪明到能想出怎么重新分配收入，把巨大的经济节约分一部分给那些不再需要铺床的人。 这段话的分量在于，它把讨论的框架换掉了。通常的讨论是"AI会不会抢走工作"，隐含的假设是那些工作值得保留。平克直接把假设翻过来问：那些工作真的值得人去做吗？如果一台机器能替你铺床，你是失去了意义，还是获得了自由？这个问题没有统一答案，但它至少让"失业焦虑"这个默认情绪变得可以被重新审视。 ## 担忧预算和想象力学 Lex 提到萨姆·哈里斯（Sam Harris）的观点：AI最终成为生存性风险是显而易见的。不知道什么时候，但最终是显然的。正因为不知道什么时候，所以现在就该担心。 Lex 觉得这个论证很有意思，问：我们该怎么考虑时间尺度？怎么考虑一个我们几乎不了解的威胁，它可能明天就来，但很可能是一百年以后？ 平克先反问：我们害怕的那个"它"到底是什么？是AI奴役我们，还是把我们变成回形针？ Lex 说，从哈里斯的角度看，最有说服力的是回形针那种情形。 平克的回应：我觉得它完全是幻想。不要造那样的系统，不要给它那样的目标。工程的第一条守则就是，在测试之前不要部署一个拥有巨大控制权的系统。也许工程文化会彻底改变，那我会担心。但我看不到任何迹象表明工程师会突然干蠢事，比如让一座电厂受一个没测试过的系统控制。 他还指出，这些设想里，AI 不仅被赋予近乎魔法的能力，包括治愈癌症（这本身可能是个不连贯的目标，因为癌症有很多种）或者带来世界和平（这目标本身怎么界定都是问题），还被赋予了控制宇宙中每一个分子的能力。这本身不太可能，而且我们也不会不测试就把这类系统接到基础设施上，就像对待任何工程系统一样。 也许会有不负责任的工程师，那就需要法律和监管上的责任机制，让工程师不做按他们自己的标准来看也很蠢的事。但他从未见过一个足够可信的生存性威胁场景，值得投入大量脑力去预防。 他还提到，AI 的进步确实可观，尤其是最近十年。但"突然出现一个阶跃函数、在我们意识到之前它就无所不能、还有某种递归式的自我改进"这种想法同样是幻想。现在叫人印象深刻的这些技术，比如深度学习，需要拿几十万上百万个样本去训练。而"治愈癌症"这种问题，根本没有几十万个同类样本可训。过去五年让AI进步的那些方法，不会导向那个指数级突然自我改进的幻想。这是魔法思维，不符合我们对AI实际运作方式的理解。 接着他谈了"担忧预算"这个概念。我们得排优先级。得把接近确定性的威胁，比如气候变化，跟那些仅仅可以想象但概率极低的威胁区分开。还要考虑人们的担忧预算。你不可能什么都担心。如果你播撒恐惧、宿命论和绝望，它会导致一种麻木：这些问题太沉重了，工程师反正会把我们全杀了，那要么摧毁整个科学技术的基础设施，要么趁还能享受就享受吧。 Lex 总结：存在一条界线，越过它，担忧就变成了让人瘫痪的恐惧，产出的成分没了。平克说，正是如此。 他还指出，人类的努力跟风险是不匹配的。认知心理学的一个基本结论是：**驱动风险感知、进而驱动恐惧感知的，是可想象性，数据起不了多少作用。** 所以我们把巨量资源错配到避免恐怖主义上，它平均每年杀死约六个美国人（9·11 那一年是例外）。我们入侵别的国家，设立全新的政府部门，耗费巨量资源和生命，去防范一个微不足道的风险。而确定会发生、必然发生的风险，比如交通事故，以及不在眼前但足够可信、值得担心的风险，比如大流行病、核战争，得到的关注少得多。总统辩论里没有关于如何最小化核战争风险的讨论，却有大量关于恐怖主义的讨论。 平克说，把我们用于恐惧、担忧、关注和规划的预算，校准到实际的伤害概率上，至关重要。 Lex 提到了乔·罗根（Joe Rogan）。罗根是他喜欢的人之一，通过想象力探索理性的边界。罗根曾经相信很多阴谋论，后来通过理性把其中不少信念剥掉了。看着他通过理性丢掉大脚怪和9·11之类的想法，很有意思。平克说，罗根已经成了一个真正的好力量。 平克上过罗根的播客，聊得很精彩，但没怎么谈AI。他几周后还要再去一次。罗根很担心AI的生存性威胁，代表了很多从一万英尺高空看AI这个话题的人。 ## 怎么跟普通人聊AI Lex 问：如果让你教我一个AI研究者，该怎么跟罗根和公众谈AI，你会给什么建议？ 平克的短答案是：去读《当下的启蒙》里他写AI的那些章节。 长一点的答案是：强调工程文化。它确实是以安全为导向的。在《当下的启蒙》里，他画了各种原因导致的意外死亡率曲线：飞机失事、车祸、职业事故，甚至被闪电击中致死。它们全都在急剧下降，因为工程文化就是想办法挤出致命风险。死于火灾、溺水、窒息的比例全都大幅下降，靠的是工程进步。他说，在看到那些图表之前，他并没有真正体会到这一点。 而这正是因为有像 Lex 这样的人，熬夜想着，天啊，我发明的东西会不会伤到人，并且调动聪明才智去防止它发生。他说自己在MIT待了22年，对工程文化有些了解，理解工程师就是这么想的。至关重要的是，面对AI，这种文化不能突然被关掉。 Lex 说，确实需要更多工程师站出来，为这种兴奋、为这种对人性的正面看法发声。平克同意。他说，我们想发明的一切都是为了给世界带来好处。 ## 悲观让你显得更聪明 Lex 问了一个关于心理学的问题：撇开具体话题不谈，对未来悲观似乎会让你显得比乐观更聪明。这个观察对不对？如果对，为什么？ 平克的回答引了讽刺作家汤姆·莱勒（Tom Lehrer）的一句话：**永远预测最坏的情况，你就会被誉为先知。** 这可能跟我们整体的负面偏见有关。作为物种，我们对负面比对正面更敏感。我们害怕损失甚于享受收益。这就给"先知"们留出了空间，让他们提醒我们那些可能被忽略的伤害、风险和损失。这种不对称确实存在。 这段话其实点出了AI威胁论流行的部分心理机制。预言灾难的人几乎不用付出代价：说对了，他是先知；说错了，没人记得。而预言进展和好处的人，一旦落空就会被嘲笑天真。这种激励结构本身就偏向悲观叙事，跟实际的风险概率无关。 ## 影响平克的书 访谈后半段转向书。 Lex 说比尔·盖茨也是平克的粉丝，说《当下的启蒙》是他有史以来最喜欢的新书。他问平克，早年哪本书对他看世界的方式影响深远？ 《当下的启蒙》受大卫·多伊奇（David Deutsch）的《无穷的开始》影响。那本书是对知识和知识改善人类处境之力的一次相当深刻的反思，里面有这样的智慧：问题是不可避免的，但只要有正确的知识，问题就是可解的；而解决方案会创造新的问题，需要被再次解决。平克说，这是关于人类处境的一种智慧，影响了这本书的写作。 他还提到一些优秀但冷门的书。他读过一本《武力的历史》（The History of Force），是政治学家詹姆斯·佩恩（James Payne）自费出版的，讲暴力的历史性下降，是《人性中的善良天使》的灵感之一。 再往前，青少年时期，他喜欢一本叫《一、二、三……无穷大》（One, Two, Three, Infinity）的书，作者是物理学家乔治·伽莫夫（George Gamow）。那本书用非常通俗幽默的方式讲了相对论、数论、维度、高维空间，出版七十年后读起来仍然令人愉快。 他还喜欢《时代生活》科学系列。他母亲订阅的，每个月寄来一本，每本一个主题。一本讲电，一本讲森林，一本讲进化，然后有一本讲心智。他当时就被"可能存在一门关于心智的科学"这件事吸引住了，也会把那本书算作一个影响。 大学时期，他读了乔姆斯基的《语言反思》。理查德·道金斯的两本书《盲眼钟表匠》和《自私的基因》影响巨大，既因为内容，也因为写作风格，那种用生动散文解释抽象概念的能力。斯蒂芬·杰伊·古尔德的第一个文集《自达尔文以来》也是生动写作的绝佳例子。心理学家乔治·米勒提出了人类记忆容量是七加减二个组块这个观点，可能是他最著名的贡献，但他还写了几本关于语言和传播的书，平克本科时读过，同样写得漂亮，思想深刻。 访谈在轻松的氛围里收尾。平克道了谢，Lex 也道了谢。整场对话没有得出什么结论，但它提供了一套看AI恐慌的另一种眼光：把风险放回它该在的位置上，跟其他真实的风险一起，按概率排队。 ## 给读者的行动结论 - 下次看到关于AI末日的说法，先问一句"那个它到底是什么"。是奴役，是回形针，还是别的什么？把模糊的恐惧逼成一个具体的场景，很多恐慌就会自己散掉。 - 给自己建一个担忧预算。把气候变化、大流行病、核战争这类概率高、后果重的风险，跟仅仅可以想象、概率极低的场景分开对待，别让后者占走你全部的注意力。 - 警惕可想象性偏差。你害怕某件事的程度，往往取决于它有多容易被脑补出画面，跟它实际发生的概率关系不大。恐怖袭击和交通事故的对比就是最好的例子。 - 别把智力等同于权力意志。一个系统解决问题的能力很强，不代表它天生就想支配别人。目标是外部给的，跟智能本身无关。 - 关注工程文化里的安全本能。想理解AI为什么会朝好的方向走，去看飞机失事率、车祸死亡率这些曲线，它们下降靠的是工程师的日常习惯，跟道德呼吁无关。 - 如果想系统地了解这套反恐慌的论证，去读平克《当下的启蒙》里关于AI的章节，还有大卫·多伊奇的《无穷的开始》。 - 当你发现自己在为某个遥远的灾难焦虑时，先分清这是有产出的担忧，还是让你瘫痪的恐惧。前者推动你做事，后者只会让你想躺平。