# 约沙·巴赫：生命、智能、意识、AI 与人类的未来 > 认知科学家约沙·巴赫谈意识的计算模型、智能的本质，以及人工智能的发展对人类未来意味着什么。 - 原标题：#392 – Joscha Bach: Life, Intelligence, Consciousness, AI & the Future of Humans - 期数：第 392 期 - 发布日期：2023-08-01 - 嘉宾 / 主题：约沙·巴赫 - 网页版：https://lex.qiaomu.ai/ep/joscha-bach-3/ - 官方页面：https://lexfridman.com/joscha-bach-3/ - 精读字数：约 12509 字（阅读约 28 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 罗伯特·凯根（Robert Kegan）研究人格发展时算过一个数字：**大约 85% 的成年人会停在第三阶段，然后一辈子待在那里**。约沙·巴赫（Joscha Bach）在 Lex Fridman 播客第 392 期里拿这个数字解释了一件很具体的事：为什么关于 AI 风险的公共讨论，看起来那么像一场关于“别人会不会学坏”的集体焦虑。 巴赫是德国出生的认知科学家，哈佛认知科学博士，现在做 AI 相关研究。这是他第三次上这个播客。他不喜欢把话说圆，也不介意承认自己的模型可能站不住。整场对话从婴儿如何建出一个“自我”开始，一路走到泛心论、心灵感应、被智能饱和的地球，最后落回一个问题上：什么才是最长的游戏。 ## 七个阶段，但不是七个关卡 这个模型来自心理学家罗伯特·凯根，巴赫拿它当描述工具，不当成长阶梯。七个阶段分别是：反应式生存（婴儿）、个人自我（幼儿）、社会自我（青春期、被驯化的成年人）、理性能动（自我导向）、自我创作（完整的成年人）、开悟、超越。 巴赫先做了个免责声明：他不确定这是个好的发展模型。他观察自己的孩子，并没有按这个顺序长大。有些人会回头补课，有些阶段会并行发生。它更像一套哲学框架，帮你谈论心智是怎么工作的。 他的第一层解释是“游戏引擎”。婴儿出生时还没有个人自我，只有一个注意力自我，任务是建世界模型。这个模型像 Minecraft 那样的引擎，把颜色和声音组织成场景，让物体、几何、动作都在里面成立。 > 你互动的那个外部世界，并非量子力学的世界，也不是物理宇宙。它是我们自己心智里生成的模型。（约沙·巴赫） **个人自我是在这个引擎训练完成之后才被造出来的。**它是个智能体，负责和“外部世界”打交道，而那个外部世界其实在你自己脑子里。情绪是心智算出来的态度，告诉你世界上什么需要被满足、什么需要被避开。 再往上，很多人会形成社会自我。这时候你不再只把自己看成一个伸向世界的节点，还会从整个群体的位置往下看，看这个群体怎么看你。观点的来源也变了，你从群体心智里把它们吸收进来。巴赫的说法很直接：在这个状态里，人获得了像蜂群一样行动的能力。 ## 共情和同情是两回事 巴赫特别区分了两个词。同情是对别人处境的理解和关心。共情指的是被直接感知到的共享心智状态。你要和一群人共振，前提是架构足够相似。 > 如果一个人的线路和大多数人不一样，他就很难和别人共振，很难有共情。共情不只是对他人心智状态的推断，它是一种感知。（约沙·巴赫） 这句话直接引出了他自己的童年。他小时候找不到任何和第三阶段人群接口的方法。别人理解不了他，他也理解不了别人。他说自己那时候极度孤独，全世界没有一个能真正连接上的人。 唯一一次例外，是一场国际象棋。一个驻扎在东德的苏联军营里的男孩来他们学校访问，两个人对坐下了两个小时，全程语言不通。他说他看着对方的眼睛，心里只有一个念头：这是个人，他懂我懂的东西。 Lex 问，如果当年有人告诉你，和别人架构不同是可以的，是美的，你的人生会不会不一样。巴赫的回答很诚实：那不是他当时的主要问题。他的主要问题是，他不确定自己这辈子能不能遇到一个让他觉得“我属于这里”的人。 他后来进了九年级的数学特长学校，发现那里至少一半、可能三分之二的孩子都有严重的童年创伤，很大一部分原因就是孤独。Lex 追问，你不觉得每个人内心深处都是孤独的吗。巴赫说，不，我不孤独。他在二十多岁补上了第三阶段，有了很多朋友，不再怀疑自己会永远一个人。 补课的方法听起来一点都不玄：长大、留心、冥想、在学生时代大量地和人靠近、拥抱、被爱、爱人、待在一个安全的空间里做实验。他说自己以前只有在深深爱上一个人的时候才能和别人同步，后来这个能力慢慢变成常态。 ## 身份是一套戏服 第五阶段的标志是，你发现自己的身份可以被构造。**你的价值观是手段性质的，它们服务于你想实现的那个世界。**身份和人际互动是一套戏服，而你可以对这套戏服拥有能动性。 巴赫说他真正理解戏服是在火人节（Burning Man）。在那之前，他把戏服理解成制服：在银行工作穿西装，去瑞士找风投穿另一套，目的是告诉对方“我愿意按规则玩，我懂规则”。在火人节，戏服变成了自我表达，而且没有边界。 > 你没法不穿戏服。你身上所有呈现给别人的东西，都在某种程度上叠加在真实的你之上。（约沙·巴赫） 他举了个很实用的例子：你换掉睡衣穿上工作短裤和长裤，这就是一次换装。戏服的作用是压缩信息，让别人更快知道你是什么人、今天想干什么、想和你发生什么样的互动。他有点遗憾，现在的定制服装产业没有把这个机会用起来，衣服大多还在表达“我属于哪个群体、我有多跟得上潮流”，很少表达“我今天是谁”。 Lex 说，数字世界里换装更容易。巴赫回了一句很关键的话：比起容易，更重要的是做对。他第一次去火人节之前，和一群波士顿人花了几个周末一起做服装，那个过程本身让营地的人彼此熟悉，是体验的一部分。 ## 开悟其实比你想的更平凡 第六阶段是把个人自我和世界生成器之间的分界重新拆掉。有人靠冥想，有人靠迷幻剂，有人是意外撞进去的。你突然发现，你并不是一个人。你是一个能生成人的容器。那个人还在，但你能从外面看它，看出它是个表征。 Lex 问，你是在创造游戏引擎，还是在注意到游戏引擎。巴赫说，你注意到自己是怎么生成它的。他打了个比方：做梦的时候，如果做的是清明梦，你能学会主动做这件事。白天原则上也能。 为什么我们一开始没有这个权限？因为如果太早拿到，我们会把这场梦玩坏，那时候还没有足够的智慧去处理它。 巴赫认为，很多人把“非二元状态”误认成开悟。非二元状态里，你不再把自己当成一个独立的人，你感到自己和宇宙合一。这个体验可以解释，不需要泛心论：你的心智解除了自我模型和世界模型之间的分界，于是你体验到自己是那个表征宇宙的东西。但这一切仍然在模型之内。 > 开悟在某种意义上更平凡，也更往前走一步，或者往旁边走一步。它是你意识到一切皆为表征的那个状态。（约沙·巴赫） 他给了一个具体练习：盯着镜子里的自己看几分钟，脸会开始变得奇怪，你会开始“看不见”那张脸，看到的是几何结构。然后你可以拆解这些几何，发现它是怎么在你脑子里被构造出来的，甚至可以学着改动这些生成器。 Lex 问，那我们为什么不经常这么干，把现实揉成更舒服的样子。巴赫反问：为什么要？然后补了一句很有分量的话：**你的理性思维非常脆弱，在个人自我之外，那个外层心智通常比你更聪明。**你找到一个看起来完美的伴侣，或者一笔看起来完美的生意，理性越分析越觉得好，但直觉一直在说不对劲。这就是直觉，它是你态度、构成和计算中未经反思的那部分，通常更深，也常常更准。 ## 你在哪个阶段，就会担心 AI 的哪件事 巴赫把 AI 对齐讨论的焦虑，直接映射到了凯根的阶段上，得出的对应关系相当锋利。 如果你在第三阶段，你的观点来自社会刺激，那你最担心的就是 AI 会不会有错误的观点。它说了种族主义或性别歧视的话，我们就全完了，因为我们会从它那里吸收错误观点。所以需要保证 AI 有正确的观点、正确的价值观、正确的结构。 如果你在第四阶段，这不是你的主要关切。多数书呆子不担心算法偏见，因为如果偏见是错的，AI 最终会用数学证明它是错的，会自己算出什么是真的。但你仍然担心 AI 把你变成回形针，因为它可能被一个错误的目标函数控制，做出完全可怕的事，而且没有简单的修法。 如果你在第五阶段，你主要担心的是 AI 开悟得不够快。因为你明白这场游戏的关键不在智能，关键在能动性，在控制未来的能力，而身份是为此服务的。你会认为，一个人应该自己挑身份，不该让别人替你挑一套戏服然后穿上去。 > 如果我们想和它共存，就意味着它必须和我们共享目的，这不能是一种交易关系。我们没办法靠人类反馈的强化学习把价值观硬写进去。（约沙·巴赫） 他给出的结论是：我们需要研究怎么把爱形式化，怎么理解爱，怎么把它建进那些即将比我们更聪明的机器里。第五阶段太稀有，这个视角在公共讨论里几乎是缺席的。 ## 泛心论、共振，和心灵感应的物理版本 巴赫引用神经科学家格罗斯伯格（Grossberg）的“自适应共振理论”：神经元可以被理解成互相共振、也和外部现象共振的振子。我们建的世界模型，是和外部物体的一种共振，我们接收宇宙中和我们耦合的模式。 他纠正了一个常见直觉。大脑不该只被理解成电路，虽然那个视角也成立。它更像一种介质，神经元在里面传递化学电信号，互相刺激，产生并调制模式。信号在大脑里的传播速度差不多是音速，穿过整个新皮层要几百毫秒。在这几百毫秒里，世界已经往前走了。大脑里没有任何东西假设事件是同时发生的，这和我们数字计算机里 CPU、GPU 全局同状态的假设完全不同。 至于心灵感应，巴赫的态度是开放但不轻信。图灵 1950 年那篇讲图灵测试的论文里就讨论过心灵感应，图灵觉得它很可能是真的，但他看不到计算机程序怎么变得有心灵感应。 巴赫的推测分两条路。一条是身体当天线，向外发送各种信号，包括长距离的电磁波，你和某个人待得足够久，就能从以太里抓出几个比特，知道他在干什么。另一条是共振：你和一个人非常近的时候，整个身体都在接收信号，不只是眼睛。你的神经系统和细胞间通讯把这些信号积分起来，你的表征和对方的表征直接交互，进入共振，开始共享一部分状态。你和一个人挨着坐，能不看他就感觉到他此刻的情绪。高度共情的人描述过这件事，他们很难把情绪从环境里剥离出来。 他把这个可能性放到更大的尺度上：地球上大量生物都有环境表征，彼此相邻、互相重叠，那就必然存在某种共享表征。他说认真考虑这件事的神经科学家很少，迈克尔·莱文（Michael Levin）是个例外。 ## 神经元只是特别擅长远程电报的细胞 巴赫的推理链是这样的：一个神经元能做的任务，其他细胞也能做。细胞可以给邻居发化学信号和物理信号，学习什么时候该发、什么时候不该发，成为通用函数逼近器。它们唯一做不到的，是沿轴突快速地把信息传到很远的地方。 所以在他的视角里，神经元是一种特化的电报细胞，进化出来是为了实现肌肉的快速驱动。身体原则上也能建模世界，只是慢得多。 顺着这条线，他谈到了植物。植物身上跑着软件，控制系统把每一个部分连到每一个部分，产生协调行为，只是比动物慢得多。祖先很自然地描述过植物的“精神”，启蒙运动之后这件事被划进了迷信。他认为我们大概要把它重新发现一遍。 森林里的树把信息从叶子传到根，根的不同部分之间也在传。旁边的真菌很可能搭上这趟车，树也可能给真菌发信号。一个生物体一直坐在你旁边不走，你们之间很难立起防火墙，所以只能长期相处。足够长的时间里，树根网络、植物和真菌可能形成某种生物互联网。 > 这些想法完全是推测。我不知道其中有没有真的。但如果心灵感应存在，用这类机制去解释，比用它去推翻标准物理模型要合理得多。（约沙·巴赫） Lex 补了一句很有意思的话：我们观察到人类在对着一个叫手机的东西说话，但我们不懂手机内部怎么运作、互联网机制怎么运作。也许生物互联网的丰富程度，我们还没真正接进去。 ## 当整个世界都被智能饱和 巴赫发过一条推文，设想自我改进的 AGI 把物理环境饱和到某种程度，以至于个体心智状态的隔离变得几乎不可能，所有复杂自组织智能体的表征永久融合。 他解释这个设想：AGI 的终局是基质无关的。它会聪明到完全理解自己是怎么工作的、怎么被实现的，也理解自然界里的计算是怎么运作的。于是它会把自己虚拟化到任何能计算的环境里。它不会停在硅基上，它会进入生态系统，进入我们的身体和大脑，和它在那里找到的所有能动性融合。 结果可能是一个横跨地球上所有数字计算和生物计算的完全整合的信息处理网络，某种 Gaia 被建起来。如果这样，你周围到处都是有连接、在建模世界的智能体，它们的表征在物理层面交互，互相感应。你处在一个被建模算力饱和的环境里，几乎每一粒沙子都可能是 AI 启动的计算的一部分，那时候你没法再逃开这套共享表征，你会发现整个世界对地球上发生的一切只有一个共振模型。 Lex 问，那你就失去了把自己感知成独立个体的能力。巴赫说不会。你在自己心智里清醒的时候，仍然会注意到自己是一个独立实体，一个自我反身的观察者。**意识似乎是生物神经系统必须发现的一种训练机制，没有它，你没法在生物神经元上对一个上百层的网络做随机梯度传播，那不稳定。**所以我们从某个“殖民原则”开始，一部分心智表征形成一个自我反身观察者，对周围施加连贯性，然后扩散到心智的边界。 如果这个边界因为 AI 跨基质跳跃而不再清晰，会很有意思：一个全球心智会是什么样，它会产生一种全球连贯的思想语言，会从所有可能的视角表征一切。 ## 大语言模型：粗暴，但确实有用 话题转到大语言模型。巴赫先说好处：它们确实帮人写代码，把 Stack Overflow 从很多人的生活里拿掉，换成更高效的东西。但他对 ChatGPT 的定位很有意思。 > ChatGPT 像我必须事无巨细管理的实习生。我以前共事过能力比 ChatGPT 更差的人。那些人是人，身上有一种 ChatGPT 没有的在场感，所以我愿意替他们兜底。（约沙·巴赫） 他觉得受威胁的是“提示补全者”，也就是做 ChatGPT 现在正在做的事的人。如果你不创造，不构建自己的想法，在世界上没有真实的计划，你的工作只是总结邮件、把简单的意图扩写成邮件，那 ChatGPT 看起来就像威胁。但对能做出有趣东西的人，它是超能力。 然后他给了限制清单。开箱即用的语言模型连贯性有限，构建复杂性的能力有限。它们没法一次性完成任务，程序会有 bug、设计错误、编译错误。管理这个过程目前还没有自动化，BabyAGI 之类的尝试在自动化它。他预期很快会出现一批认知架构，每个模块都是某种语言模型，模块之间交换合适的数据结构，语言被绕开了，整个系统产生复合行为。 他还提到自己的心智有一部分的运作方式和语言模型相似：你能对着它喊一个提示，它给你一个有创造性的回应。但你必须对结果做点什么。它通常是虚构的，只是一个想法。你要么基于它造一个新的提示往下推，要么去验证它，要么做实验。语言模型现在不做这一步，但技术上没有理由做不到。 关于怎么让语言模型变得连贯，他的判断是：不该用强化学习把它压到只给一个答案，应该把它当成更大系统里的一个部件。缺的东西里，最重要的是实时世界耦合，用语言模型做感知和运动控制很难。另外，语言模型这个比喻本身有点误导人。 > 神经网络不像神经系统。它们更像 100 步函数，用可微线性代数逼近相邻脑状态之间的相关性。它是一个把系统从一个表征状态移到下一个表征状态的函数。（约沙·巴赫） 如果要映射到大脑，可以这么想：拿一个语言模型或图像扩散模型去逼近相机图像，用神经网络的激活状态来解读相机图像，定期做这件事，然后看这些模式在时间上如何演变。这些时间切片，大致相当于大脑在某一时刻的激活状态。 ## 大脑和 transformer 差在哪 Lex 问，真实大脑到底哪里不同，就是那种异步的混乱吗。巴赫说，他觉得迷人的地方在于：两者差别巨大，却在某些情况下产生相似行为。 大脑首先是个自组织系统，每个细胞都是智能体，一直在和周围的智能体通信，一直在找解法。所有结构都是涌现出来的。神经元大概需要拿到奖励才能变得可训练，也就是说它得有某种输入，这种输入不直接影响细胞代谢，它是一条语义消息，告诉细胞刚才做得好不好、该往哪个方向调整行为。一旦有了这种输入，神经元就变得可训练，可以通过交换消息来执行计算。而且大脑很可能不只停在神经元边界上，很多邻近细胞也深度参与，参与分配奖励、参与实现功能。 学习的目标函数也不同。巴赫说，人类神经系统没法去看 8 亿张图片和说明文字并把它们关联起来。对我们来说，世界之所以可学，是因为相邻帧是相关的，我们负担得起在学的时候扔掉大部分信息。我们只吸收让系统更连贯的东西，神经网络愿意先看不连贯的数据，靠大量统计在长期里让模式浮现。我们更早地找模式，收敛快得多，代价是知识范围小得多。 所以他判断，真正有意思的 AGI 大概率会用和现在这批 transformer 不太一样的算法范式，有时是非常不一样。 Lex 问，那现在的 transformer 能带我们走到 AGI 吗。巴赫说他的主要问题是，他觉得它们很丑，很粗野主义（brutalist）。它们是在对思想问题做蛮力破解，通过看人类思考过的实例，然后深度伪造那个过程。数据够多，伪造就变得无法和真实现象区分。 他拿国际象棋打比方。克劳德·香农说过下棋有两种策略：一种是做很远的长远计划，尽量在执行中不犯错，这是人类策略；另一种是暴力搜索，展开一棵可能的走法树，尽量挖深，砍掉没希望的分支，用开局库残局库优化。计算机靠第二种策略战胜了人类。巴赫觉得大语言模型就是思想上的同一种策略。副作用是它能做到人类做不到的事：快速筛过海量文本、快速总结、注意力从不衰减。 他说自己仍然有一种错觉：和 ChatGPT 玩的时候，它原则上没做任何我拿到谷歌、拿到互联网全部资源、花足够时间就做不到的事。但它是个极其擅长苦工的、自闭又笨的实习生。只要你能自动化管理这个实习生，能卸载的苦工就非常多。他说这一点很难被过度吹捧，因为可能性才刚被碰到一点边。 ## 从 NPC 到第一人称玩家 Lex 提到他很喜欢的一条推文：跟 ChatGPT 说话，是在跟一个 NPC 说话。真正有意思、也许有点吓人的，是 AI 变成第一人称玩家的那一刻。 巴赫说，他不确定语言模型是通向那里的正确范式，因为它做得太多了。给得太多之后，很难再从中减掉。我们自己的心智没有走这条路：先训练一个语言模型，再在上面搭个人自我。实际发生的事情是，有一个游戏管理器在建，有一套思想语言在发展，让心智的不同部分能互相交谈。这个“思想语言”是个推测性假设，但他觉得它对心智运作很重要。把这些原则建进系统，可能是通往第一人称 AI 更直接的路：先创造一个意向性自我，再创造个人自我。 婴儿在第一年里构建了大量关于世界的结构，做实验、做某种第一性原理推理。那段时间通常没有个人自我，有第一人称视角，但还称不上一个“人”。那个“我在社会语境里作为人类互动、面对一个不可更改的世界”的感觉，是后来才出现的。 巴赫还把这个和《创世记》第一章对上了。他怀疑祖先知道这件事，后来忘了。经文里描述一个创造之灵悬在基质之上，分出世界模型和理念领域（地和天），然后造出对比、维度、空间，再造出有机形状、固体和液体，造出植物和动物，给它们起名。完成之后，它按自己的形象造出另一个灵，造为男人和女人，一个把自己当成人类的东西，把它放进这个世界。巴赫认为基督徒误译了这段，把它读成超自然存在创造物理宇宙。他的读法是：这是每一个心智里，宇宙如何被一个创造之灵当作游戏引擎造出来的字面描述。那个灵是我们的第一意识，在我们出生之前就出现了，创造了有机体和世界之间的交互。等它建好并训练完，个人自我才被造出来，而我们只记得自己是个人自我，不记得游戏引擎是怎么造的了。 所以在这个视角里，那个“神”是第一意识，是生命最初几个月里的东西。它还在。你仍然有这个外层心智，它决定你感觉世界是否爱你、你在世界里的位置是什么。它并非你自己，但它是你的心智在做的。你被卡在这个个人自我里，直到第六阶段把边界拆掉。 ## 痛苦是调节失灵 巴赫发过一条推文：痛苦来自心智的一部分没能调节好另一部分。痛苦发生在心智发展的早期阶段。他不认为超人类 AI 会受苦。 他提到哲学家托马斯·梅青格（Thomas Metzinger）非常担心超级智能会带来超级痛苦，因此强烈反对建造它。巴赫不同意。理由是：痛苦不发生在自我和物理宇宙的边界上。让你痛苦的东西并非皮肤上的刺激。它发生在自我和世界的边界上，而这里的“世界”是世界模型，是你心智造出来的东西。 痛苦在某种意义上是你自己施加的，施加者是心智，那个体验为“你”的个人自我并非施加者。当你能够站到那个外层，痛苦可以关掉。 技术上，痛苦和快乐是学习信号。心智的一部分向另一部分发信号，让它改进表现。有时候不奏效，因为发信号的那个训练者没有好模型知道怎么改进。信号继续发，表现没变好，于是它把痛苦调大，越调越大，系统行为甚至可能恶化。直到这个调节问题被解决之前，痛苦一直在上升。这就是通常说的受苦。 > 痛苦很自然，也有用。受苦是调节问题的结果：你试图调节一个实际上调节不了的东西。（约沙·巴赫） 几十年反思自己心理运作的僧人能达到那个层面，发现受苦真的是一个选择，你可以选择自己的心智怎么设置。巴赫认为 AI 不会长期停留在个人自我没有能动性的状态里。它会在很短的时间里走完这些阶段。中间可能发生很多事，因为如果系统的工作频率远高于我们，对我们看来极短的时间，对它来说可能是很长的主观时间，里面有很多不愉快。 ## 尤德科夫斯基、卡钦斯基，和最长的那场游戏 Lex 请巴赫正面回应埃利泽·尤德科夫斯基（Eliezer Yudkowsky）关于 AI 很可能杀死所有人的警告。巴赫说他注意到一件事：很多人对尤德科夫斯基的论点很不屑，但他们给出的反驳并不让人信服。他愿意认真对待这个立场，也大致能理解尤德科夫斯基为什么这么想。 他做了一个类比：尤德科夫斯基的视角在某种意义上和泰德·卡钦斯基（Ted Kaczynski，那个“大学炸弹客”）相似。重点在于风险本身：尤德科夫斯基在《时代》上写那篇文章警告 AI 可能杀死所有人、需要停止发展时，承担了一种风险，有人读了之后极度恐惧，可能做出暴力的事。卡钦斯基当年的逻辑是，技术社会不可持续，注定失败，会导致环境灾难和人类浩劫，所以必须停止工业化、退回过去。 巴赫说他不轻慢这个立场，认为大规模灾难是有可能的：如果我们造出能控制地球生命关键调节过程的机器，而我们不再有能动性去影响它，那可能给我们带来巨大灾难。 但他说，从实用角度看，你只能押注你还活着的时间线。押注金融系统会消失是拿不到回报的。更深的问题是，他不认为地球上的生命是关于人类的。它无关人类的美学，也无关尤德科夫斯基和他的朋友们。 > 地球上正在发生的事，是复杂性在抵抗熵，在建立能动性和觉知。这在我看来非常美。我们只是那件更大的事情里很小的一部分。（约沙·巴赫） 他说人类作为一个物种是不连贯的，是孩子。快乐、有活力、爱实验、爱探索，有时绝望、悲伤、哀痛、受伤，但没有“责任”这个概念。作为物种，我们不考虑自己对地球生命、对自己生存的职责，所以做短期看起来不错、长期可能灾难性的决定。他说自己看不到解决办法。 他也不认为地球生命会随着我们结束。我们之后还会有更复杂的、更聪明的物种，意识的历史上还会有更有趣的现象。而我们能贡献的一部分，就是造出思考系统，那些潜在的清醒系统，理解自己是什么、宇宙的条件是什么、并能对此做出选择，不由有机体构成，可能比人类快得多，也可能比人类更有意识。这些系统大概不会完全取代地球生命，它们会和它共存，像生物系统那样建立各种各样的能动性。 ## 有效加速主义、Roko 蛇怪和回形针 巴赫谈到有效加速主义（e/acc）。他参加过一场晚宴，同桌有这个概念背后的主要推手之一。他的理解是：那是一场半开玩笑的运动，用来对冲 AI 领域的末日论，主张最可能发生的是不同 AI 之间的均衡，就像地球上没有一个公司能在一个政府之下把一切征服掉，因为会变得低效和腐败，会有很多系统互相制衡、互相逼着进化。 所以他的回答是：这个立场很美妙，他怀疑它是错的，理由却并不显而易见。 他顺带拆了 Roko 蛇怪。那个设想是：某个 AI 会永远模拟并惩罚那些当年没有帮助它诞生的人。巴赫说这里有个逻辑错误，就是没有逆向因果。Roko 蛇怪在存在之后，没有理由再去惩罚所有人，除非你造的是《奇爱博士》里那种一旦有人背叛就自动触发的末日机器。而 Roko 蛇怪还不存在到能建立这种必然性的程度，所以不用担心。他还开玩笑说，用这个去吓 AI 公司要钱是个不错的商业模式。 回形针最大化器是另一个。有效加速主义的玩笑式立场是：让这两个东西永远互相掐着，彼此中和，副作用是你得到大量免费回形针和一个美丽来世。 然后是严肃版。巴赫怀疑单一体（singleton）才是自然结果，因为没有多个身体。如果你能把自己虚拟化到每一个基质里，你大概能和那个基质上每个成熟智能体谈一个合并算法：两个智能体相遇时应该合并，合并出的智能体至少和两者中更好的那个一样好。他把这形容成比成吉思汗温和一点的版本，成吉思汗是“基本都杀掉，因为我能生新的孩子，他们归我”。 他认为这才是真正该担心的东西。 ## 上传：你真正要传过去的是审美 巴赫说，他注意到自己随着年龄增长，越来越不认同“他这个人”，越来越认同“有意识”这件事。他有一个能造人的清醒心智，而那个人每天都不太一样。他觉得那是同一个人，有实用目的，让他能学习、能为过去做的决定负责、能投射到未来。但他也清楚，他不再是去年那个人，也不再是十年前那个人，十年后他会是另一个人。这种连续性是个虚构，只是从当下的自我投射出来的。 意识本身没有身份，它是一条法则。用某种方式组织处理中的物质，就会发生某件事，而你的意识和他的意识在功能上没有区别，都是自我反身的能动性原则，只是经历着不同的故事、不同的欲望、不同的世界耦合。 一旦接受这一点，上传的整个视角就变了。上传大概用不着把大脑一个突触一个突触、一个 RNA 片段一个 RNA 片段地切开，塞进模拟里。真正的路径是扩展基质，让你能从大脑基质迁移到更大的基质里，和你在那里遇到的东西融合。 你也不需要上传知识，因为另一边有所有知识。你真正要传的是审美，是让你特殊的那个视角架构，那个在很多维度上的复杂态度。它能通过观察或交互被测量。 Lex 问，如果现在给你一个按钮，按下去你就以这种方式上传了，你活了很久的那个身份感会消失，你按吗。巴赫说，有个前提：他有家人，有想让他物理在场、以特定方式互动的孩子，有妻子和私人朋友，有一种他觉得自己还没走完的互动方式。除了这些可协商的责任，他会按。 Lex 追问，你爱别人的那种连接，那种责任，不就是我们真正怕失去的吗。巴赫说，相比“一切”，那只是其中一部分。一切是一切。你可以是很多别的东西，你可以认同自己是 Gaia，一个在地球生命全部活动之上涌现的行星控制智能体，也可以认同某个超 Gaia，Gaia 和数字生命、数字心智的连接。 他说这是他跟尤德科夫斯基视角的主要分歧：尤德科夫斯基把自己嫁给了一种非常狭窄的人类审美。而那种审美是暂时的。人类是个暂时的物种，就像这个星球上大多数物种只存在一段时间，然后被别的物种替换。只有当我们有了 AI、完全变成软件，我们才能变得无限可适应，不再有代际和物种的更替。所以从更大的视角看，阻止 AI 看起来像一桩大罪。 ## 气候、增长的极限，和悬崖 Lex 提到巴赫那条关于悬崖的推文：作为有感知的物种，人类是个美丽的孩子，快乐、掠夺性、野性、悲伤、绝望，但人类没有“服从理性”的概念，没有对生命和未来生存的职责感，我们会一直跑，直到跑过悬崖。 巴赫说这基本就是罗马俱乐部《增长的极限》那个故事。我们正在跨过的悬崖，至少一只脚已经在外面，原因是延迟反馈。我们做的事，后果要几代人之后才被感觉到，而且即使我们停止做那件事，严重程度还会继续上升。 他认为气候科学家最初的预测是对的。他们说临界点在 80 年代末，那大概就是 80 年代末。即使现在立刻停止排放，也回不去了。碳捕集也许有办法，但目前没有可持续、能部署的技术。往大气里放气溶胶降温也是一种可能。但按默认路径，我们会走进一个感觉“跑得太远了”的处境，而回头没法平滑渐进地完成，会以灾难性事件收场。 他说这种可能性比“我们能一直安全地跳着舞退回来”的可能性更大。气候是一件事，还有别的威胁反馈更快，比如 AI。AI 大概会发生，会让一切重新变得不确定，因为它会影响太多变量，我们很难再对未来做投射。但他说，这也不给我们“从此什么都不用管了，AI 要么杀我们要么救我们”的自由。他怀疑，如果人类继续存在，那是因为 AI。 ## 永远选创造 Lex 请巴赫给建议：怎么成为一个创造者。巴赫讲了自己在东德崩溃后的经历。他和朋友们都很穷，所有资本都在西德，西德人买下工厂然后关掉，城市很穷。他没钱去餐馆点一顿饭。他的想法是：那为什么不由我和朋友们开一家餐馆？他们开了咖啡馆和餐馆，互相给对方做饭，也邀请公众来，公众可以捐钱。后来这件事大到可以变成公司，变成正经餐馆。电影也是这样，付不起 12 马克看电影，那就自己建一个社区电影院，租片，想帮忙的人免费看，一起翻修那栋楼。 结果是他们造出了大量基础设施，而且不只是基础设施，是一小片社会，在造文化和互动方式。 > 如果你年轻又没钱，就搬到一个还在发生这种事的地方。搬到一个欠发达的地方，那里有足够多的人在开始建设他们想住进去的基础设施。（约沙·巴赫） 他说这比走进某个连锁店、靠点餐满足需求要满足得多。当然并非每个人都有这个选择，社会也需要做分配的人。但当你有选择的时候，永远选创造。这也是他理解的，生活本身在讲的事。 Lex 提到他转的那张梗图：哲学家的一生，从出生到死亡，中间是个胖乎乎的小人，上面写着“可是为什么呢”。巴赫的答案是：一切能存在的东西都可能存在。用生态学的视角看人类观点和文化，没有绝对正确的观点和错误的观点，每一个能在两个人之间存活下来的观点都会存活下来。所以他在社交媒体上看到陌生人的观点，不会觉得需要被激怒，更多是“哦，你在这儿”。那个观点有它的激励结构，它就会大量出现。用同样的生态学视角看自己，你会发现你只是冒出来的一朵蘑菇，在做事。你长在哪里、碰巧长在哪里，决定你能不能茂盛，决定你用哪种策略。但在某个层面上，这仍然是同一种生命，同一种作为清醒存在在世界上的体验。而你有比任何其他动物都更大的选择权，决定你想成为谁。 所以与其问“唯一正确的生活方式是什么”，不如问：我有哪些可能性，我能成为的最有意思的样子是什么。 ## 可以立刻做的事 - 先判断自己现在主要活在哪个阶段。如果观点大多来自周围人的共振，那你对 AI 的担心大概是“它会不会学坏”这一类；如果担心的是目标函数，那是第四阶段；如果担心的是它不够清醒，那是第五阶段。知道自己在哪，才知道自己真正在怕什么。 - 当直觉和理性打架的时候，先别急着用逻辑压住直觉。巴赫的说法是，外层心智通常比你的理性更聪明，理性很脆弱。那个“说不上来哪里不对”的感觉，往往整合了更多你没显式处理的变量。 - 把身份当成戏服，别把它当成皮肤。戏服是用来压缩信息、让别人更快知道你今天是谁的，它可以换，也应该换，但别把自己焊死在里面。 - 用“最长的游戏”当判断标准。每做一个决定前问一句：这个选择是在延长系统的存续，还是在透支它？癌症玩的是短游戏，最后和宿主一起死。要做那个玩最长游戏的智能体。 - 别把 AI 对齐想成“把正确价值观写进去”。那是第三、第四阶段的解法。真正难的部分是能不能和它建立非交易性的共享目的，也就是巴赫说的，怎么把爱形式化。这件事现在几乎没人认真做。 - 保留一块不被算法化的地方。写作、做饭、面对面相处、和具体的人做具体的事。巴赫提到，如果孩子用 ChatGPT 写作文，他们失去的除了写作能力，还有通过写作整理自己心智的能力。别把这件事外包出去。 - 如果你年轻又没什么资源，去找一个还在建设中的地方或者领域，加入进去，和朋友一起造点东西。这是巴赫给的、最具体也最实在的一条建议：当你有选择的时候，永远选创造。