福报还是灾难？关于AI意识的谜题
来源：DeepTech深科技
DavidChalmers并没有预料到他会在去年9月收到这份邀请。作为意识领域的权威，Chalmers定期环游世界，在大学和学术会议上向全神贯注的哲学家听众发表演讲——这类人可能会花几个小时争论自己头脑之外的世界是否真实，然后愉快地过完那一天剩下的时间。然而，这个最新的邀请来自一个意想不到的组织：神经信息处理系统会议（NeurIPS）的组织者，而NeurIPS是人工智能领域领袖人物每年一度的聚会。
会议召开前不到六个月，当时在谷歌工作的一位名叫BlakeLemoine的工程师公开表示，该公司的人工智能系统之一LaMDA已经具有意识。Lemoine的说法很快在媒体发布中被驳回，他被立即解雇，但这个幽灵不会那么轻易地回到瓶子里——尤其是在2022年11月发布ChatGPT之后。突然之间，任何人都可以与一个有礼貌、有创造力的人工智能代理进行复杂的对话。
Chalmers无疑是谈论AI的意识这个话题非常合适的人选。他在印第安纳大学人工智能实验室获得了博士学位，在那里他和他的计算机科学家同事利用休息时间讨论机器是否有一天会拥有思想。在他1996年出版的著作《意识思维》（TheConsciousMind)中，他用了整整一章的篇幅来论证人工意识是可能实现的。
Chalmers说，如果他在无人知晓像LaMDA和ChatGPT这些系统为何物的90年代就与这些系统进行交互，他会认为它们很有可能是有意识的。但当他穿着他标志性的皮夹克站在新奥尔良宽敞的会议厅里，面对一群NeurIPS与会者时，他给出了不同的评价。是的，大型语言模型系统，即为了尽可能准确地模仿人类的写作而在大量文本语料库上进行训练的系统，令人印象深刻。但是，他说，它们缺乏太多具备意识所需的潜在必要条件，这让我们无法相信它们真正体验了世界。
然而，随着AI发展的飞速发展，事情可能会突然发生变化。面对这些具有数学头脑的听众，Chalmers给出了具体的说法：据他估计，在未来10年能够开发出有意识的人工智能的几率将超过五分之一。
Chalmers说，没有多少人认为他的提议很荒谬：“我的意思是，我确信有些人会有这种反应，但他们并不是跟我说话的人。”相反，在接下来的几天里，他与人工智能专家进行了一次又一次的交谈，他们非常认真地对待他所描述的可能性。一些人来找Chalmers时对有意识机器的概念充满热情。而另一些人对他的描述感到震惊，因为他们认为，如果人工智能是有意识的，也就是说，如果它能够从自己的角度看待世界，而不仅仅是处理输入的数据，而且还能体验它们，那么它也许会遭受痛苦。
AI意识不仅仅是一个极其棘手的智力难题，也是一个道德上重大的问题，可能会带来可怕的后果。如果无法识别有意识的人工智能，你可能会在无意中抑制甚至折磨一个其利益应该被重视的生物。而将无意识的人工智能误认为有意识，你就可能为了一堆不会思考、无感情的芯片和代码的利益，而损害了人类的安全和幸福。这两个错误都很容易犯。“意识对我们的研究提出了独特的挑战，因为它很难被定义，“特拉维夫大学神经科学家LiadMudrik说。他从2000年代初就开始研究意识。“这一研究在本质上是主观的。”
在过去的几十年里，一个小型研究团体一直在顽强地探讨意识是什么，以及它如何运作。这些努力在曾经看似无法解决的问题上取得了实质进展。现在，随着AI技术的快速发展，这些见解可以为我们提供唯一的指南，帮助我们了解未经检验、道德上充满争议的人工意识领域。
Mudrik说：“如果我们作为一个研究领域，能够利用我们所拥有的理论和发现，提供可以对意识进行的良好测试，那么这可能就是我们最重要的贡献之一了。”
什么是意识
当Mudrik解释她的意识研究时，她从她最喜欢的东西之一开始：巧克力。将一块巧克力放入口中会引发神经生物学事件的交响乐：舌头的糖和脂肪受体激活大脑相关通路，脑干中的细胞簇刺激唾液腺分泌，而头部深处的神经元会释放化学多巴胺。然而，这些过程都没有捕捉到从铝箔包装中取出一块巧克力并让它在嘴里融化的感觉。“我想要了解的是，大脑中的什么东西不仅使我们能够处理信息，尽管这项任务本身就是一个艰巨的挑战和惊人成就，而且还能让我们体验正在处理的信息，”Mudrik说。
从专业角度来说，研究信息处理对于Mudrik来说是更直接的选择。意识研究长期以来一直是神经科学中的边缘话题，往好里说是不严肃的，往坏了说是棘手的。1996年版《国际心理学词典》（InternationalDictionaryofPsychology）中的“意识”条目写道：“这是一种令人着迷但难以捉摸的现象。至今没有与此相关的值得一读的学术内容。”
Mudrik没有因为这些困难而退却。从2000年代初的本科阶段起，她就知道自己不想研究除了意识以外的任何东西。“作为一名年轻的研究人员，这可能不是最明智的决定，但我就是忍不住，就是对此研究欲罢不能，”她说。为此，她获得了两个博士学位——神经科学和哲学，以此表明她要破译人类经验本质的决心。
意识是一个很棘手的话题，但也不是不可能定义——尽可能简单地说，它就是体验事物的能力。它经常与“感知”和“自我意识”等术语混淆，但根据许多专家使用的定义，意识是其他更复杂能力的先决条件。要具有感知，生物必须能够拥有积极和消极的体验，换句话说，就是快乐和痛苦。而自我意识不仅意味着拥有一种体验，还意味着你需要知道你正在拥有一种体验。
在她的实验室里，Mudrik并不关心感知力和自我意识；她感兴趣的是观察当她操纵人们的意识体验时大脑中会发生什么。原则上这是一件很容易做到的事。给某人吃一片西兰花，其体验将与吃一块巧克力非常不同，并且可能会导致不同的脑部扫描图。问题是这些差异是无法解释的。我们无法辨别哪些差异与信息变化相关，也就是西兰花和巧克力会激活非常不同的味觉受体，而哪些差异代表了意识体验变化。
解决这一困难的诀窍是在不改变刺激源的情况下改变体验——比如给某人一块巧克力，然后按下开关，让他感觉像在吃西兰花。这对于味觉来说是无法实现的，但对于视觉来说就不一样。在一种广泛使用的方法中，科学家让人们同时观看两个不同的图像，每只眼睛一个图像。尽管眼睛同时接收到两个图像，但不可能同时感知到两个图像，因此受试者经常会报告他们的视觉体验“翻转”：首先他们看到一个图像，然后自发地看到另一个图像。通过跟踪意识感知翻转期间的大脑活动，科学家可以观察当传入信息保持不变，但体验发生变化时会发生什么。
通过这些和其他方法，Mudrik和她的同事们已经成功地确定了一些关于意识在人脑中如何运作的细节。小脑位于头骨底部的脑区域，看起来像拳头大小的类似天使头发形状的意大利面。尽管它对像骑自行车这样的潜意识运动任务起到至关重要的作用，但它似乎在意识体验中不起任何作用。而另一方面，反馈连接——例如，从大脑的“高级”认知区域到参与更基本的感觉处理的区域的连接——似乎对意识至关重要。
十年前，一群意大利和比利时的神经科学家成功地设计了一种使用经颅磁刺激（TranscranialMagneticStimulation,TMS）的人类意识测试。TMS是一种非侵入性的脑刺激形式，通过将八字形磁棒靠近某人的头部来施加刺激。仅根据由此产生的大脑活动模式，研究小组就能区分有意识的人与处于麻醉或深度睡眠状态的人，他们甚至可以检测到植物人状态（某人醒着但没有意识）和闭锁综合征状态（患者有意识但无法活动）之间的区别。
这是意识研究的巨大进步，但对于研究具有意识的AI这个问题来说意义不大：毕竟OpenAI的GPT模型没有可以被TMS魔杖刺激的大脑。为了测试人工智能意识，仅仅识别人脑中产生意识的结构是不够的。你需要知道为什么这些结构以一种足够严格和普遍的方式对意识做出贡献，从而使其适用于任何系统，无论是人体还是其他系统。
“最终，你需要一个理论，”艾伦研究所（AllenInstitute）前所长、一位有影响力的意识研究员ChristofKoch说。“你不能再仅仅依靠自己的直觉了。你需要一个基础理论来告诉你意识是什么，它如何进入世界，以及谁拥有意识，谁没有意识。”
意识的理论与测评
让我们来看一个可能奏效的理论：任何足够聪明、能够成功应对足够广泛的环境和挑战的生物，都必须有意识。从表面上看，这并不是一个荒谬的理论。据我们所知，人类拥有最聪明的大脑，而且我们绝对是有意识的。更聪明的动物似乎也更有可能有意识——人们普遍认为黑猩猩比螃蟹等动物有意识。
但意识和智力并不相同。当Mudrik向她的实验对象展示图像时，她并不是要求他们思考任何事情或测试他们解决问题的能力。即使一只在海底奔跑的螃蟹，不知道自己的过去，也不思考自己的未来，但如果它能体验到美味的虾的快乐或受伤的爪子的痛苦，它就会有意识。
佛罗里达大西洋大学未来心智中心主任SusanSchneider认为，AI可以通过完全放弃意识来达到更高的智能水平。像在短期记忆中保存某些东西这样的有意识的过程是相当有限的——我们一次只能注意几件事，而且要完成简单的任务也经常并不轻松，比如记住一个电话号码需要比拨打它更加长的时间。目前尚不清楚AI会从意识中获得什么，特别是考虑到这些系统在没有意识的情况下也能取得惊人的成就。
随着GPT的进一步迭代，它们证明自己越来越智能，越来越有能力满足广泛的需求。从通过律师考试到从头开始构建网站，它们的成功本身并不能被视为它们具有意识的证据。即使是一台行为与人类没有区别的机器也不一定能意识到任何事情。
不过，Schneider并没有对测试失去希望。她与普林斯顿大学物理学家EdwinTurner一起制定了她所谓的“人工智能测试”。执行这项测试并不容易：它需要在整个训练过程中将人工智能代理与任何有关意识的信息隔离。（这一点很重要，因此它不能像LaMDA一样，只是鹦鹉学舌地重复人类关于意识的陈述。）然后，一旦系统训练完成，测试人员就会向它询问一些问题，这些问题只有在它了解意识的情况下才能回答，而它必须首先自己具备意识才能获取回答问题所需的知识。它能理解电影FreakyFriday中母女交换身体、意识与肉体分离的情节吗？它是否掌握了梦的概念,甚至可以讲述一个梦？它能了解轮回或来世吗？
这种方法有一个巨大的局限性：它需要语言能力。人们普遍认为人类婴儿和狗都具有意识，但它们不可能通过这项测试，而AI可以在不使用语言的情况下变得有意识。对像GPT这样基于语言的人工智能进行测试同样是不可能的，因为它在训练中已经接触到了意识的概念。如果让ChatGPT解释一下电影FreakyFriday的情节，它会相当出色地完成这项任务。而且由于我们对先进人工智能系统的工作原理仍然知之甚少，因此要完全保证人工智能不接收任何有关意识的信息，即使不是不可能，也是很困难的。我们的语言本身就充满了我们关于意识的描述——像“思想”、“灵魂”和“自我”这样的词正是通过我们的意识体验才被赋予含义。谁又能保证极其智能、无意识的人工智能系统无法了解这些？
如果Schneider的测试不能保证万无一失，那么还剩下一个选择：拆解机器。如果你知道如何解释你所看到的东西，那么了解人工智能的内部工作原理可能是确定它是否有意识的重要一步。这样做需要具备良好的意识理论基础。
几十年前，我们可能完全迷失了方向。那时唯一可用的理论来自哲学，但谁也不知道如何将它们应用于物理系统。但从那时起，Koch和Mudrik等研究人员帮助发展和完善了许多想法，这些想法可能为理解AI意识提供有用的指导。
人们提出了许多理论，但无一得到证实，甚至没有一个占主导的理论。而且这些理论对人工智能意识做出了截然不同的预测。
一些理论将意识视为大脑软件的一个特征：重要的是大脑以正确的方式执行正确的工作。例如，根据“全局工作空间”（globalworkspace）理论，系统具有意识必须具备必要的架构，这个架构需要各种独立的模块以及一个“全局工作空间”，“全局工作空间”从这些模块中获取信息并从中选择一部分在整个系统中广播。
其他理论将意识更直接地与物理硬件联系起来。“集成信息论”（integratedinformationtheory）提出，系统的意识取决于其物理结构的特定细节，具体来说，就是其物理组件的当前状态如何影响其未来并表明其过去。根据印度理工学院的说法，传统的计算机系统以及当今的人工智能永远不可能有意识——它们没有正确的因果结构。（该理论最近受到一些研究人员的批评，他们认为它已经被过于关注。）
苏塞克斯大学神经科学教授AnilSeth更赞同基于硬件的理论，主要是因为他认为生物学很重要。我们所知道的每一种有意识的生物都会分解有机分子获取能量，努力维持稳定的内部环境，并通过化学和电信号的组合经由神经元网络处理信息。一些科学家认为，如果所有有意识的生物都是如此，那么就可以毫不夸张地推断，这些特征中的任何一个，甚至全部，都可能是意识所必需的。
Seth说，因为他认为生物学对意识非常重要，所以他花更多的时间研究大脑类器官（培养在培养皿中的神经组织团块）中存在意识的可能性，而不是人工智能。“问题是，我们不知道我是否正确，”他说：“而且我很可能是错的。”
他并不是唯一持这种态度的人。每个专家都有自己偏爱的意识理论，但没有人将其视为意识形态——他们永远对自己是否正确保持警惕。在过去的五年中，意识科学家开始共同开展一系列“对抗性合作”：不同理论的支持者聚集在一起设计神经科学实验，并相互帮助测试它们。研究人员提前就哪些结果将支持哪种理论达成一致，然后他们进行实验，看看会发生什么。
今年六月，Mudrik、Koch、Chalmers和一大群合作者发布了“全局工作空间”理论与“集成信息”理论的对抗性合作结果。这两种理论都没有完全胜出。但Mudrik表示，这个过程仍然富有成效，它迫使每种理论的支持者做出具体的预测，这有助于使理论本身更加精确并在科学意义上更加有用。“它们都是正在发展中的理论，”她说。
与此同时，Mudrik一直在试图弄清这种理论多样性对人工智能意味着什么。她正在与一个由哲学家、计算机科学家和神经科学家组成的跨学科团队合作，他们最近发布了一份白皮书，提出了一些关于检测人工智能意识的实用建议。在论文中，该团队利用各种理论来构建一种意识“成绩单”——在假设其中一个理论成立的情况下，表明人工智能具有意识的一系列标记。这些标记包括具有一定的反馈联系、使用全局工作空间、灵活地达成目标以及与外部环境（无论是真实的还是虚拟的）交互。
实际上，这一策略的依据是现有主流的意识理论有可能被证明是正确的——因此，如果一个AI在各个理论体系中体现出具有意识的标记越多，那么这个AI就越有可能真的具有了意识。同理，只有当我们已有的所有理论都出错了，一个不出现任何标记特征的系统才可能具有意识。这就像LaMDA这样的系统所表现的，既没有正确类型的反馈连接，也不使用全局工作空间，甚至没有任何其他意识标记。
然而，用这样的方式来评判系统是否具有意识的状况不会持续太久。因为白皮书的作者表示，要构建出符合多项有意识标记特征的系统，在技术上并不困难。所以很快，我们将面临一个直接来自科幻小说的问题：人们应该如何面对一台具有潜在意识的机器？
来自科幻小说的问题
1989年，在意识神经科学真正发挥作用的几年前，电视剧《星际迷航：下一代》（StarTrek:TheNextGeneration）播出了名为“男人的尺度”（TheMeasureofaMan）的一集。这一集主要讲Data，一个机器人，他在剧中大部分时间都在与自己有争议的人性作斗争。在这个特定的情节中，一位科学家想要强行拆解Data，以探究他是如何工作的。Data担心这种拆解会杀死他，因此拒绝这一要求，而船长Picard必须在法庭上捍卫他拒绝拆解的权利。
Picard从未证明Data是有意识的。但他证明了没有人可以反驳Data是有意识的，同样无法反驳的是这么做有可能伤害Data，并可能增大他之后的机器人成为奴隶的风险。对于如何确定人工智能意识这个难题来说，这是一个诱人的解决方案：将任何可能具有意识的系统都视为具有意识的系统来对待，这样的话，如果真的是一个具有意识的生物，便可使其免遭伤害。
像对待一个人一样对待Data很简单：他可以轻松地表达他的愿望和需求，而这些愿望和需求大体上与他的人类船员的愿望和需求相似。但旧金山人工智能安全中心的哲学研究员、白皮书的主要作者之一RobertLong认为，保护现实世界的AI免受痛苦可能要困难得多。“对于动物来说，我们比较容易知道它们的需求，因为它们从本能上想要的和我们人类想要的一样。但我们很难猜测AI需要什么，”他说。保护AI不仅需要AI意识理论，还需要有关AI快乐与痛苦、欲望与恐惧的理论。
这种方法并非没有代价。在《星际迷航》中，想要拆解Data的科学家希望建造更多像他一样的机器人，这些机器人可能会代替其他人员执行危险的任务。对于观众来说，Data是一个像剧中其他人一样有意识的角色，那么拆解这个提议就很可怕。但如果Data只是一个非常逼真的人类模拟，那么让一个人处于危险之中是不合情理的。
关爱其他生命意味着保护他们免受伤害，而这限制了人类在道德上可以做出的选择。“我并不担心我们过于关心动物的情况，”Long说。结束工厂化农业并没有什么坏处。“但是对于人工智能系统，”他补充道，“我认为如果我们过度考虑AI的意识，确实可能存在很多危险。”人工智能系统可能会出现故障并需要关闭；它们可能需要接受严格的安全测试。如果人工智能是无生命的，那么这些都是很容易做出的决定；而如果必须考虑人工智能的需求，那么这些决定就会陷入哲学困境。
Seth认为，至少在可预见的未来，有意识的人工智能不太可能出现，但他担心人工智能具有意识的可能性对人类的情感可能意味着什么。“这将改变我们如何分配有限的关心事物的资源，”他说。这似乎是未来的一个问题，但对人工智能意识的认知现在就在我们身边——BlakeLemoine为他认为有意识的AI冒了个人风险，结果丢了工作。那么有多少人可能会为了毫无生命的计算机系统而牺牲时间、金钱和人际关系？
即使是最简单的聊天机器人也能发挥不可思议的吸引力：一个名为ELIZA的简单程序于20世纪60年代构建，用于模拟谈话疗法，它让许多用户相信它能够感受和理解。意识的感知和意识的实现并不一致，而随着AI系统变得能够参与更真实的对话，这种差异只会变得更加严重。“我们将无法避免将它们视为有意识的体验，就像我们在认知上无法理解某些视觉错觉一样，”塞斯说。正如知道米勒-莱尔（Müller-Lyer）错觉中的两条线的长度完全相同，并不妨碍我们产生认为一条比另一条短的错觉一样，知道GPT没有意识，并不会改变你产生正在与一个具有判断、观点、和个性的有意识的系统交谈的错觉。
知道米勒-莱尔（Müller-Lyer）错觉中的两条线的长度完全相同，并不妨碍我们产生认为一条比另一条短的错觉。同样，知道GPT没有意识，并不会改变你产生正在与一个具有判断、观点、和个性的有意识的系统交谈的错觉。
2015年，也就是这些担忧成为现实的几年前，哲学家EricSchwitzgebel和MaraGarza制定了一系列旨在防范此类风险的建议。其中有一条被称为“情感一致性设计政策”（EmotionalAlignmentDesignPolicy），认为任何无意识的AI都应该经过有意的设计，这种设计的目的就是不让用户相信它们是有意识的。一些公司已经朝这个方向迈出了一些小步——比如ChatGPT，如果你问它是否有意识，它会给出明确的否认。但这样的回答对防止整体认为AI有意识的错觉作用甚微。
Schwitzgebel是加州大学河滨分校的哲学教授，他希望避免任何含糊之处。在2015年的论文中，他和Garza还提出了“排除中间政策”（ExcludedMiddlePolicy）——如果不清楚一个AI系统是否有可能具有意识，那就不应构建该系统。在实践中，这意味着所有相关专家必须对一个即将建造的AI系统很可能没有意识或很可能有意识达成一致。“我们不想让人们感到困惑，”Schwitzgebel说。
避免有争议的意识灰色地带，能够避免伤害有意识的人工智能的风险，也可以避免将无生命的机器视为有意识带来的危害。问题是，这样做可能不太现实。许多研究人员——比如法国国家科学研究中心的研究主任RufinVanRullen，最近获得了建立具有全局工作空间的AI的资金，现在正在积极致力于赋予人工智能潜在的意识基础。
VanRullen说，暂停构建具有潜在意识的AI系统的缺点就是可能会阻止更有效的AI系统的创建，比如像他试图创建的系统就可能比已有的AI更有效。“每当我们对当前的AI性能感到失望时，其原因总是因为它落后于大脑的能力，”他说。“所以我的目标不一定是创造一个有意识的人工智能，像现在许多人的目标一样，我们的目标是让AI提高其推理能力。”这种先进的功能可以带来真正的好处，比如AI设计的药物已经在临床试验中进行测试。处于意识灰色地带的AI拯救生命的可能性并非不可想象。
VanRullen对有意识人工智能的风险很敏感——他与Long和Mudrik合作编写了有关检测机器意识的白皮书。但他说，正是这些风险使他的研究变得重要。有意识的人工智能很可能不会首先出现在像他自己这样可见的、公共资助的项目中;像谷歌或OpenAI这样财力雄厚的公司才更有可能实现这一可能。VanRullen说，这些公司不太可能欢迎有意识的系统带来的道德困境。“这是否意味着当这些公司在实验室创建了有意识的AI时，他们会假装没有发生？这是否意味着大家都不会知道这事？我觉得这很令人担忧，”他说。
VanRullen说，像他这样的学者可以通过更好地了解人类和机器的意识本身如何运作来帮助降低这种风险。而这些知识可以使监管机构更有效地监管那些最有可能开始涉足创建AI意识的公司。我们对意识了解得越多，不稳定的灰色地带就越小，我们就越有机会知道自己是否处于其中。
对Schwitzgebel来说，他的建议就是让我们完全远离灰色地带。但考虑到所涉及的严重的不确定性，他承认这种建议可能不切实际——尤其是当有意识的AI最终能够盈利的时候。一旦我们处于灰色地带，也就是当我们需要认真对待有争议的意识生物的利益的时候，我们将面临更加困难的境地，需要应对前所未有的复杂道德问题，且没有明确的解决路线图。那么从现在开始，研究人员就需要承担绘制这张解决路线图的艰巨任务，包括哲学家、神经科学家和计算机科学家。
（英文版发表于《麻省理工科技评论》2023年12月期 译者：BZ）