# 沃伊切赫·扎伦巴：OpenAI Codex、GPT-3、机器人技术与 AI 的未来

> OpenAI 研究员谈 GPT-3 与 Codex 的诞生、大型语言模型训练中的取舍，以及 AI 安全与机器人前景。

- 原标题：#215 – Wojciech Zaremba: OpenAI Codex, GPT-3, Robotics, and the Future of AI
- 期数：第 215 期
- 发布日期：2021-08-29
- 嘉宾 / 主题：沃伊切赫·扎伦巴：OpenAI 与代码生成
- 网页版：https://lex.qiaomu.ai/ep/wojciech-zaremba/
- 官方页面：https://lexfridman.com/wojciech-zaremba/
- 精读字数：约 6054 字（阅读约 13 分钟）

> 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

OpenAI 联合创始人沃伊切赫·扎伦巴（Wojciech Zaremba）在莱克斯·弗里德曼（Lex Fridman）的播客里给了一个概率判断：我们可能是宇宙里唯一的智慧生命。他说这话时并不笃定，但结论很重。如果真是这样，生命和意识就变得格外珍贵，值得被认真对待。

关于费米悖论，他听过最疯狂的一个答案和计算有关。宇宙温度越低，理论上能做的计算越多。一个真想最大化算力的文明，最理性的选择也许是把熵留给未来，安静地等宇宙冷却。扎伦巴不确定自己是否相信这个答案，但它至少说明一件事：我们看不见外星人，可能是因为向外扩张在对方的优先级里排得很低。

他还提了一个更温和的可能：智慧文明或许都选择了向内。探索三维空间的性价比，远低于把机器接进大脑、在自己内部制造无限体验。宇宙太大，光速太慢，往外跑的收益太低。

## 给未来的外星人留一份备份

考古学的局限让扎伦巴有些伤感。如果某个文明在地球上诞生又消亡，只要时间足够久远，我们根本无从察觉。他把地球放进同样的视角：如果人类也消失了，能留下什么痕迹，让后来的智慧生命知道这里曾经有过一些不错的东西？

Wikipedia、YouTube，也许可以存进一颗绕地卫星的硬盘，比我们的身体保存得更久。

这个念头的前提更难接受：我们可能会死，而且可能死得很突然。他提到宇宙中观测到的伽马射线暴，高能射线据说能抹掉整个星系。如果那是真的，可能没有任何防护手段。

他观察过去的文明，比如阿兹特克人，问它们为什么消失。他的推测是遇到了解决不了的问题，也许是洪水，也许是喝不到干净的水。这些问题在今天看来很简单：把水烧开再喝就行。技术扩展了行动空间，行动空间越大，可解的问题越多。当下的疫情也一样，最后把问题按下去的仍然是科学。

行动空间扩大也有另一面。新增的行动里，有些执行起来极其容易，后果却极其严重。扎伦巴用资本主义解释集体行为的错位：市场给各种活动标了价，但有些我们真正在意的东西没有价格。清洁的空气、互联网上不被破坏的环境，公司可以免费污染。政治的一部分工作，就是把激励对齐，先想办法测量这些价值，再给它们定价。至于怎么投票、怎么把钱移动到符合自己价值的地方，那是技术问题。

这一块他承认自己想不清楚，于是把判断权交给了山姆·奥特曼（Sam Altman）。他自称更偏「天真的嬉皮士」那一侧，靠自我怀疑和乐观运转。

## 生命是一张图里出现的环

扎伦巴有一套关于生命起源的心智模型。他设想早期的海洋里有一锅氨基酸和蛋白质组成的原始汤，各种物质通过反应互相转化。把「什么变成什么」画成一张巨大的有向图，每个节点是一种物质，每条边是一次转化。

**生命的出现，等价于这张图里第一次长出了环：同一个东西反复变回自己。** 环不需要奇迹，它需要的只是边的数量足够多。当图足够稠密，环迟早会自己冒出来。生命因此更像一道关于连通性的概率题，神迹并非必需品。

至于智能和意识，他现在的直觉是两者高度缠绕，而且都是连续量，没有清晰的开关。证据来自神经网络的内部表征：图像识别网络的激活模式，和猴子视觉皮层的激活高度相关；语言模型也表现出类似的对应。在三维环境里训练智能体，一开始它连前景和背景都分不清，过一段时间能定位到「脚」，再往后开始拥有真正的三维感知。你甚至可以问它「把头转向右边会看到什么」，早期的预测很糟糕，训练久了，它会理解转头 360 度之后应该看到同一个东西。

DOTA 的智能体之间会协作，对彼此有预期，内部似乎出现了代表其他智能体的符号。扎伦巴认为，一旦系统开始为技能做优化，它迟早会需要一个符号来描述自己。**这个描述自己的符号，他愿意称之为自我意识。** 自我意识不等于意识。意识在他这里的定义更接近「喝一杯咖啡时的主观体验」，或者「做一只蝙蝠是什么感觉」。

## 意识是压缩器开始压缩自己

意识会不会和记忆、循环连接有关？麻醉药提供了一条线索：它扰乱脑波，让记忆无法形成，意识随之减弱。

他区分了两个模块。一个是自我意识模块，也就是描述自己的能力；另一个是叙事模块，把原始感官信息压成一个故事讲给我们听。有人天生没有内在的叙述者，必须借助外部的人来完成需要内心独白的任务。**体验可以脱离语言而存在。** 感觉本身就是一个比原始感官信息简单得多的抽象，这个抽象足够有用，让人能作为一个「实体」在这个世界里行动。它最实用的地方，是让人真的在乎自己不要死。

那么，能不能用数学描述意识？扎伦巴的思路从压缩出发。GPT 预测下一个词，这件事等价于压缩文本。压缩的本质是学习现实的模型，你只需要记住自己预测错的地方。我们对开车的预测、对世界走向的预测，也是同一回事。他猜测意识与压缩缠绕在一起，而自我意识，可能是压缩器试图压缩它自己。

数学里有哥德尔定理，计算机科学里有停机问题，两者都指向同一个结构：一个足够复杂的系统，可以把自己指回自己。**当压缩进行到某个程度，压缩器去压缩自己就变得划算了。他把这个想法叫做元压缩。**

他承认自己并没有超越图灵机的计算概念，只是认定意识对应着一类特定的计算。至于这类计算是否依赖具体的物理载体，他目前的直觉是可以完全抽象掉。你用矩阵乘法堆出天文数字的计算量，他也不会认为那里面有意识。

## 自我就是给 GPT 的那段提示词

这里出现了一个漂亮的类比。GPT-3 可以通过在文本开头加一段前缀来控制，你写「这是一段与 Lex 的对话」，模型就会以 Lex 的口吻继续写下去；你写「这是与 Elon Musk 的对话」，它就会谈火星殖民和可持续的未来。它像一个变色龙，从人类的全部文本里学来，可以被变成任何东西。

扎伦巴说，我们用来描述自己是谁的那个故事，几乎就是那段前缀。**有人把这个前缀叫做「自我」。自我就是 GPT 的提示词。**

冥想做的事情，是把提示词拿掉。人开始以事物本来的样子去体验它们，不再被「它们应该是什么样」的描述带偏。他描述过一种体验：注意力持续向内收，思考慢下来，偶尔有念头冒出来，但整体变得越来越友善、越来越正向。他说那感觉像一滴水落进爱的海洋。

从奖励函数的角度看，这个解释更朴素。我们平时总是在接收一点奖励信号，再把它分摊到各种活动上。如果长时间保持不动，奖励会累积、累积、累积，某个时刻越过阈值，就出现了那种体验。自我会回来，但那一小段被清空的时间确实存在。

他建议对冥想感兴趣的人直接去参加静修，从周末两三天的短程开始。**头一两天很难，之后就变简单了。** 难的来源是心态：如果人在等它结束，或者在等涅槃降临，那会非常难受。身体上的不适是真实存在的，腿会麻，会酸。老师教的方法是观察它，不逃开。想逃的冲动被看清之后，痛苦反而消解。

伊利亚（Ilya Sutskever）用洗冷水澡来「拥抱受苦」，扎伦巴的做法类似，他只是纯粹地观察水怎么流过身体，不试图逃离。**让冷水澡变舒服的唯一办法，是成为观察者，在里面找到乐趣。** 长跑、极限耐力项目、任何一种疼痛，处理方式都一样：不抵抗，只观察。

## 和伊利亚的互补

扎伦巴和伊利亚·苏茨克维都是 OpenAI 的联合创始人，也是多年的密友。他说自己对伊利亚的洞察有极高的敬意，同时也很清楚自己的强项在哪里。

他把伊利亚称为世界上最丰产的 AI 科学家之一，而自己最擅长的事情是把人聚到一起协作。他有一种在 AI 圈子里不太常见的共情能力，来源可能是冥想，可能是致幻剂，也可能是读过的几百本相关书籍。他带出来的人后来很多成了 OpenAI 的研究经理。**他主动把人推上去，自己不占着位置。**

这种分工之所以成立，是因为伊利亚不喜欢管人，而扎伦巴天生外向，喜欢和人待在一起。

判断一个人是否真正有天赋，他有一个概率论证：如果发明一项突破的概率是百万分之一，那发明两次就是百万分之一的平方，三次就是立方。**一个人如果反复发明，就不可能是运气。** 伊利亚就是那种反复发明的人。他观察伊利亚的方式也很特别：先读大量东西，再花大量时间纯思考，最后从思考里长出数学。

关于深度思考，扎伦巴说他和伊利亚都会定期把自己从世界里断开。伊利亚的做法是手里只留一台 iPad。扎伦巴会去另一个城市的 Airbnb 住几天，关掉手机，谁也找不到他。**他需要这样的空白来生成新想法，一直被动反应会让想法长不出来。** 年纪越大，手边的杂事越多，这种时间越难挤出来。

他后来改了自己的日历：周一到周二开会，周三到周五全部设为不在办公室。三天完整的专注工作，让他的情绪明显变好了。

## GPT-3：把所有问题变成填空题

GPT-3 是一个巨大的神经网络，训练数据是整个互联网，任务只有一个：预测下一个词。看到一篇文章的前半段，它要说出下一个词是什么，反复地说。它在这个任务上变得极其出色。

为什么预测下一个词这么重要？**因为大量问题可以被改写成文本补全题。** 你问「美国总统是谁」，它会回答。你构造一段像网站内容的文本，假装是在教人翻译，写成「EN：某句英文 / FR：」，然后让它续写，它就真的在翻译。

更疯狂的是，它可以扮演。你构造一段两人对话的文本，写成 Lex 和 Elon 的对话，它续写出来的 Elon 会讲火星殖民、讲可持续未来。它的语法、句法、语义都对得上，泛化能力强到让人吃惊。

但扎伦巴很谨慎地加了限制条件：它能生成几段连贯的文字，写长了就会脱轨。**它写不出一整本书。**

脱轨的方式很有意思。模型训练在人类已经写下的文本上，它自己的错误不在训练数据里。假设你和它扮演的 Elon 对话，说「Elon 是我的妻子」，它会接着往下演，当成真的。真人 Elon 会回你一句「你在说什么」。**模型没有人类在回路里的即时反馈，错误会被一次次放大。** 人类的错误也会被放大，只是我们出错的频率更低、被现实纠正得更快。孩子对世界有错误认知，很快就会被经验修正，因为孩子是接地在现实里的。

扎伦巴说，如果模型能训练在「人类如何学习」的数据上，它会好得多。

## 权力与「华盛顿式」让权

关于 GPT 到底是不是通向 AGI 的路，扎伦巴打了个比方：有人说我们在造飞船去月球，有人说我们只是在搭一架越来越高的梯子，永远够不到月亮。他承认现在这还是一个科学问题，不知道哪个比喻对。**他的态度是先试试看能走多远，而到目前为止，进展一直在持续。**

他倾向于认为智能是多轴的，系统会在某些轴上超人、在另一些轴上不如人。所有轴同时超人，他会觉得意外。

对于 AGI 的风险和部署策略，他的答案是「迭代部署」。**一点一点地把更好的版本放出去，让外部的人来批评、来试用，看看真正的问题在哪里。** 他不想要的状态是：手里握着一个强大的系统，同时世界上积压着巨大的能量，等到某天一次性释放，带来混乱的冲击。

弗里德曼问过伊利亚的问题也问了他：如果手里握着一个接近 AGI 的系统，权力会不会腐蚀你？他的回答是要把权力分散出去，让 AGI 不被少数人控制。**这需要一次「华盛顿式」的让权：在登上权力巅峰的那一刻，有足够的道德罗盘把权力交出去。** 人类在这个动作上，历史上表现得时好时坏。

他担心一种情形：国家之间的 AI 竞赛让人对自己撒谎，用「防御中国、防御俄罗斯」的逻辑，正当化不分散权力的行为。至于怎么设计治理机制，他再次说自己想不清楚，更愿意相信山姆·奥特曼。他提到奥特曼写过一篇关于分配财富的博客，提议把征税对象从利润换成股权，再把收益分出去，奥特曼还花钱做过全民基本收入的实验。

话题转到自主武器系统，扎伦巴承认这让他自己也难以推理，最终仍然把判断交给了奥特曼。但他强调一件事值得所有人去想。他讲了自己的一段经历：他给一辆遥控车写过程序，车速能到每小时三四十英里。当时他睡眠不足，代码写得糟糕，结果程序卡死，车不会转弯，全速直直撞上墙。**那一刻他意识到，编写 AI 系统需要的严肃程度，和后果的严重程度是绑在一起的。** 一个最底层的工程师和一个公司的 CEO，都需要用同样的严肃去对待最坏情况。

不过他补了一句：恐惧本身会让人瘫痪。他选择出于爱去工作，出于热情、好奇，以及对积极未来的期待。这种爱的定义，来自严格的共情练习，它要求人不断去听别人的声音，不把自己的偏好投射到别人身上。

## Codex：编程语言的又一次降级

GPT-3 在训练中长出了一点粗浅的编程能力，你让它写一个两数相加的函数，它能写出 Python 或 JavaScript。OpenAI 干脆全力去做一个擅长编程的系统，于是有了 Codex，以及 GitHub 上的第一个产品 Copilot。

Copilot 的作用是在你写代码时给出补全建议。它和过去的补全工具最大的区别是长度：以前补几个字符、一行，现在能补十行。**它最自然的用法，是先写一句注释说明想要什么，它来完成函数。** 扎伦巴说，他现在写代码不再去 Google 搜索合适的写法，而是写一句「这个区域做平滑处理」，Copilot 会自己导入合适的库，用上 NumPy 卷积，甚至用了他自己都不知道存在的函数。

他坦言没人知道这个系统能生成的全部小程序空间有多大，也不知道失败案例、边界情况、细微错误和严重错误各占多少。**但在大量情况下它能工作是事实，这件事本身已经足够惊人。**

他把 Codex 放进一个更长的历史脉络里看。计算机的接口从打孔卡片开始，那时只有极少数专家能用，甚至有人觉得不需要更多人用计算机。后来出现了汇编、C，抽象层级提高，能用计算机的人变多。再从 C++ 到 Java、Python，又是一次跃升，更多人能写代码，技术随之扩散。**Codex 是这条阶梯的下一级：让人类用自己的语言和计算机对话，不必再学一套专门的语言。** 他期待生物学家不必花大量时间学编程，就能处理 DNA 相关的工作。

一个更妙的应用方向是软件内部的 API。日历、Word、Photoshop 这些软件都有脚本接口，今天你想加一个复杂行为，就得加一个新按钮。有了 Codex，你可以直接说「帮我和 Lex 约下周两点以后的会」，它现场写出对应的代码。**这最接近当年 Siri 和 Alexa 许下的承诺：不用硬编码，把自然语言翻译成机器语言。** 他甚至设想用语音在手机上编辑文档，因为手机键盘太小，而说话描述「把标题调大、把段落挪一挪」要自然得多。

## 程序可以被执行，语言不能

扎伦巴提到一个他觉得很有价值的差别。语言模型生成的内容，你很难自动判断对错，需要人来判断「这句话说不说得通」。程序不一样：**程序可以被执行，你可以直接看到它算出什么。** 于是反馈回路可以自动化，写单元测试、跑测试、根据结果改进，都可以由机器完成。他甚至设想模型自己写测试来改进自己。

他还谈到一个关于代码维护成本的直觉：如果一个技巧能带来两倍收益，但要写一千行代码，他未必愿意要。**五行代码换两倍，他会要。** 这需要一种对代码不执着的能力，随时愿意删掉。

## 一只手解魔方

在 Codex 之前，扎伦巴领导过 OpenAI 的机器人团队。他们的判断是：强化学习已经被 AlphaGo、DOTA2 证明能解决相当复杂的问题，那机器人呢，能不能训练机器解决物理世界里的任意任务？

他们选了一个一旦解决就能说明问题有实质进展的题目：**用一只机械手，单手解开魔方。** 难点在操作本身：让方块不从手里掉出去，用五根像小手臂一样的手指去转动魔方的不同面。他们特意选了这种很难硬编码的任务和很难硬编码的硬件，让解法具备泛化能力。

路线是仿真。真实世界的瓶颈是没有数据，仿真里数据可以无限，代价是仿真的保真度。他们让模型通吃一