如果AI有了意识，我们该如何得知？

美国著名科幻作家艾萨克·阿西莫夫（Isaac Asimov）曾在其机器人系列的作品中，精彩地描述过许多拥有自主意识的机器人，譬如文章“Little Lost Robot”中，那个做错事后，把自己伪装起来，躲避人类惩罚的机器人NR-2，亦或是“Liar!”中那个困惑于人类的真实情感为什么总是与表现出来的不一样的机器人DV-5。

随着人工智能（AI）的迅猛发展，“机器人有可能具有意识”这种论断不再是天方夜谭，甚至已经被AI领域的部分领军者们承认。去年，OpenAI公司的首席科学家伊利亚·苏茨克弗（Ilya Sutskever）在推特上曾表示，一些最尖端的AI系统可能会“略微有意识”。诚然，目前许多研究人员认为，AI系统尚未具备意识。但AI迅猛的发展速度也让我们迫切需要思考：如果AI系统具备了意识，我们将如何知晓？

遗憾的是，此前，科学界尚缺乏关于AI意识的详细、科学且深刻的讨论。而为了解决这一窘境，包括神经科学家、哲学家和计算机科学家在内的19名专家们制定了一份AI意识检查清单。这份清单指出，如果某AI系统符合条件，将表明其有很高的可能性具有意识。这份报告已在arXiv以预印本形式发布，追问将报告内容归纳总结如下，以飨读者。

▷图源：arXiv官网

什么是意识？

AI的意识研究面临的挑战之一就是定义什么是意识。这篇报告的研究人员主要将研究重心集中在了“现象意识（phenomenal consciousness）”上，即作为人、动物或AI系统正在经历某种感觉，某种有意识的体验。*

*编辑注：心灵哲学中将意识分为三级，访问意识（access consciousness）、现象意识（phenomenal consciousness）、自我意识（self-consciousness）。后面层级的意识往往包含前者。

举个例子，如果你正在屏幕前阅读本文，那么你正在对屏幕进行有意识的视觉体验。我们还可以有听觉体验，比如听到鸟鸣，以及其他感觉模式的有意识体验，比如身体感觉——疼痛和痒。除了上述对真实的、当前事件的体验外，我们还可以拥有有意识的意象经历，比如此时此刻想象爱人的面孔。

当然，从另一个角度讲，大脑中有许多完全无意识的信息处理过程，比如大脑在没有任何有意识感知的情况下调节激素的释放。另一个例子是感觉记忆存储：你可能会记住一幅地铁上的广告画面、一个陌生人的声音或路边一缕转瞬而逝的桂花香气。

意识理论及意识指标

目前，神经科学领域有许多关于意识生物学基础的理论，但尚无共识哪一个是“正确”的。研究者使用多种意识理论，来创建研究框架。他们设想，如果一个AI系统的功能方式与这些理论的许多方面匹配，那么它有更大的可能具有意识。

为了制定合适的意识指标，他们假设，无论系统是由神经元、计算机芯片抑或其他东西构成，意识都与系统如何处理信息相关。他们还假设，基于神经科学的意识理论可以应用于AI。在这些假设的基础上，他们主要根据6种意识理论提取判别意识的指标。

1. 循环处理理论（recurrent processing theory，RPT）

①循环信息处理：根据这一理论，大脑中的信息处理不是线性的，而是通过多次迭代的处理来进行的。信息在不同的神经网络之间循环传递和反馈，允许信息被反复处理和整合。

②分层次处理：信息处理被认为是分层次的，信息在神经网络的不同层次之间进行传递和整合。底层的神经网络处理基本的感觉信息，而高层的网络则处理更抽象和复杂的概念。

③意识内容的生成：这一理论认为，意识的内容是通过在神经网络中循环处理和整合的结果产生的。在这个过程中，信息逐渐被整合成有意义的模式，从而产生了我们所经历的感知和思维。

④反馈机制：反馈机制在意识形成的过程中起到关键作用。信息可以从高层网络返回到低层网络，以便根据更高级别的信息来调整和修正较低级别的处理。这种反馈机制有助于产生一种连贯的、可理解的意识体验。

如果将大脑比作生产汽车的工厂，汽车生产线比喻成视觉处理系统，而汽车则代表意识。那么，RPT认为，意识是通过信息在不同模块之间的反复循环传递和处理而产生的。

当汽车生产线的工作站（视觉处理系统的各个部分）完成了各自的任务时，它们会将零件（信息）传递给其他工作站，并接收来自其他工作站的零件。不同工作站之间协同工作，并根据需要进行修正和调整。在这个过程中，工厂中的零件在不同工作站之间不断传递和加工，最终形成了一个完整的汽车（意识）。

2. 全局工作空间理论（global workplace theory，GWT）

①全局工作空间概念：全局工作空间是大脑中的一个特定区域，类似于心智“舞台”，用于整合和传播信息。这个工作空间容量有限，只能容纳有限数量的信息或思维内容。

②信息竞争：在大脑中，不同的认知过程和信息流竞争着进入全局工作空间。只有那些被选择的信息才能够进入工作空间，变得可意识化。

③意识内容的生成：在全局工作空间中，信息被整合成一种有意义的形式，从而形成了我们的意识体验。这意味着我们只有对特定信息进行处理并在全局工作空间中传播时，才能有意识地体验到它们。

④注意的作用：全局工作空间理论也强调了注意的重要性。注意充当了信息进入全局工作空间的门卫，只有受到注意的信息才能够进入工作空间。因此，意识与注意紧密相关。

GWT认为，意识是通过一种全局的信息传播和共享过程产生的。在大脑这个工厂中，有一个特殊的工作站被称为“全局工作空间”。这个工作站负责协调和传播零件（信息），以便不同的工作站之间能够协同工作。当某个工作站完成了一项任务，它将零件发送到全局工作空间，然后其他工作站可以访问这个零件并做出相应的调整。只有信息被发送到全局工作空间时，才会导致意识的产生。

3. 高阶理论（higher order theory，HOT）

①第一阶段和第二阶段：高阶理论将心理状态分为两个阶段。第一阶段是指我们通常称之为感知、思考或情感的心理状态，例如看到一只猫、感受到疼痛。第二阶段是元认知或高阶认知阶段，指的是对第一阶段状态的认知、监控或觉察。第二阶段状态可以是关于第一阶段状态的认知，例如“我知道我看到了一只猫”。

②意识的产生：高阶理论认为，一个心理状态具有意识，是因为它被某种高阶认知状态监测或觉察。具体来说，当第二阶段的认知状态与特定的第一阶段状态相关联时，意识就会产生。这意味着一个心理状态之所以具有意识，是因为我们知道或觉察到我们正在经历这种状态。

③无意识和有意识的区分：高阶理论提供了一种区分无意识和有意识状态的方式。如果一个心理状态没有相关的高阶认知状态监测或觉察，那么它是无意识的。如果有相关的高阶认知状态，那么它是有意识的。

HOT认为，意识是通过高阶的认知过程产生的，这些过程反映了我们对初级感知和知觉的反思。在上述的比喻中，高阶认知则更像是工厂中的观察员或监控系统。在工厂中，有一个特殊的摄像头，它监视各个工作站的活动。每当某个工作站完成一项任务时，摄像头会记录下来，并生成一份报告，描述工作站的活动。这份报告可以看作是关于工作站的高阶信息，即意识。只有当有一个系统能够观察和记录下其他处理信息的系统的活动时，意识才会出现。

除此之外，研究者们还参考了注意图式理论（attention schema theory，AST）、预测处理理论（predictive processing，PP）、代理与具象化理论（agency and embodiment，AE）。它们共同构成了意识科学当前的一个参考标准，用于评估特定AI系统中出现意识的可能性。

根据上述意识理论的主要内容，研究者将其主要的概念提取出来，对应到计算机系统中的各项性能指标，用于评估AI系统意识产生的可能性。指标总结如下（表1）。

▷图源：arXiv官网 由追问媒体释义

研究指出，拥有更多这些特征的系统更有可能具有意识。但研究者也建议，在使用这些指标时，应牢记它们与所基于的意识理论以及指标之间的联系——某些指标的组合将比其他指标更能促进AI意识的产生。而其中一些看似必要的条件，在单独存在的情况下并不会显著提高意识形成的可能性。

对目前AI系统的意识评估

在构建了评价框架后，研究者还通过评估当前的两大AI系统是否可能具备意识，来展示使用这些指标的方法。

在以上所有指标中，研究者重点关注GWT指标（GWT-1至GWT-4）。而两大AI系统，其一是此前引起公众广泛关注的基于Transformer的大型语言模型（LLM），比如GPT-3、GPT-4和LaMDA；其二是声称具备“全局工作空间”的Perceiver和Perceiver IO系统。

Transformer模型主要由两种交替出现的神经网络层组成，即注意力头层和前馈层（如图1所示）。自注意机制（self-attention）是Transformer的核心算法框架之一，在Transformer中用于整合输入序列中不同位置的信息，类似于GWT理论中的全局工作空间概念，它们都整合来自多个模块（注意力头层）的信息。Transformer也被看作由多个“残差块”组成的结构。

每个残差块包括一种类型的神经网络层，这些网络层分别处理从残差块中提取的信息，处理后的信息随后又被添加回残差流。这种结构允许信息在不同的残差块之间传递和处理，有助于捕获复杂的特征和关系。由自注意层和前馈层生成的信息被映射到较低维度的残差流中，因此，残差流可以在某种程度上充当工作空间，用于存储和传递信息。而且残差流中的信息可以在不受位置限制的情况下被下游的注意力头层使用。

考虑到上述Transformer的算法框架，研究人员认为Transformer具有GWT-1到GWT-3的意识指标，即并行的模块、容量有限的全局工作空间和全局传播。但目前关于Transformer是否满足GWT-4的状态依赖的注意力机制则仍存在争议。

▷图 1：Transformer的基本算法框架。图源：论文原文

而与Transformers相比，Perceiver算法框架似乎更能满足GWT指标，但在研究者看来其仍然未能完全满足所有指标。

目前存在两个版本的Perceiver算法框架。Perceiver算法框架旨在解决Transformer的一个难题，即自注意机制在处理高维输入时的计算成本较高。而Perceiver IO算法架构则更旨在处理多模态的输入，并使用多个输入编码器和输出解码器，生成各种类型的输出。它使用自注意机制来处理潜在空间中的信息，并使用交叉注意力机制（cross-attention）来从输入模块中选择信息并写入输出模块。潜在空间在自注意层和交叉注意层之间交替，使其能够反复地从输入模块中获取新信息（如图2所示）。

▷图 2：Perceiver的基本算法框架。图源：论文原文

并且，Perceiver算法框架允许按时间顺序处理输入序列，潜在空间状态随着每个新输入的更新而更新，但也受到其先前状态的影响。因此，可以说Perceiver算法框架满足意识指标GWT-1（模块）和GWT-2（容量有限的全局工作空间），以及GWT-4（状态依赖的注意力机制）的部分特征。

但是，Perceiver算法框架尚不满足GWT-3（全局传播）指标。Perceiver IO具有多个输出模块，但在任何给定的试验中，其输入变量仅包括一个指定输出类型的“输出查询”，这将使得最终只有一个输出模块可以处理来自全局工作空间的信息。另外，输入模块通常不会从全局工作空间接收信息。因此，虽然Perceiver算法框架是目前作为使用类似工作空间的方法来改善AI功能的成功示例，但它距离完全实现GWT尚有一段距离。

总的来说，虽然评估结果表明现有的AI距离有意识系统尚远，但不可否认它们具有与全局工作空间理论相关的一些意识指标。

关于AI系统意识的思考

1. 低估和高估人工智能的意识之后

关于AI意识的评估不可避免地会面临“低估”和“高估”的风险。

如果我们低估了AI的意识，那么可能会导致一些道德困境。举例来说，人类受诱于巨大的经济利益，大量捕杀“无意识”的动物。就AI而言，同样出于巨大的经济效益，研究人员可能会淡化他们的伦理顾虑。因此，如果未来，我们能够构建出有意识地感受到痛苦的AI，那么只有当研究人员能清楚地认识到AI可能会感受到痛苦时，才有可能保护它们免受痛苦。当然，在某种程度上，有意识并不等同于能够有意识地体验痛苦。至少在概念上，可能存在没有情感体验的意识系统。

另外，我们也很有可能高估了AI的意识。人类倾向于将人类的心理状态强加到非人类系统。这种拟人化行为使我们能够使用与理解同类相同的认知框架来理解和预测像AI这样复杂的非人类系统，这有可能帮助我们更好地与AI交互。然而，另一方面，“子非鱼，焉知鱼之乐？”AI也许并非如我们想象的那般具备人类意识。

2. 人工智能的意识与能力也许并不直接相关

在大众的想象中，意识与自由意志、智力和感受人类情感的倾向联系在一起，包括同理心、爱、内疚、愤怒和嫉妒。因此，我们认为有意识的人工智能的实现，可能意味着我们很快就会拥有类似于科幻小说中描绘的类人AI。事实上，这一畅想是否成立，很大程度上取决于意识和能力之间的关系。

虽然，一些有影响力的AI研究人员目前正在构建更有可能有意识的系统来强化AI的能力，但事实上，拥有意识并不一定能很好地增强AI的能力。并且，当前许多对AI负面影响的担忧并未涉及AI是否有意识。例如，人们担心根据反映当前社会结构的数据训练出来的AI系统可能会延续或加剧不公正现象，但这并不取决于AI是否有意识。以及，人们担心AI可能会取代大多数人类工人，这也不取决于AI是否有意识（尽管取代人类工人的经济价值可能会激发能力研究，从而导致有意识的AI出现）。

最后，研究者也表明这份报告并不是AI意识研究的最终定论。他们希望这份报告能够促进日后AI意识领域进一步的研究探讨。

本文来自微信公众号：nextquestion（ID：gh_2414d982daee），作者：轻盈，编辑：Lixia，审校：韵珂