计算机网络真的会打开“潘多拉魔盒”吗？
我们已经到了一个历史转折点：当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。
当非人智能威胁到人类的生存时，人类如何做出明智的选择？历史学家、哲学家尤瓦尔·赫拉利（YuvalNoahHarari）在新出版的书籍《智人之上》里探讨了相关问题。谈起尤瓦尔·赫拉利，大家可能并不陌生，他是《人类简史》《未来简史》《今日简史》等现象级畅销书的作者，他也是牛津大学历史学博士，现任耶路撒冷希伯来大学历史系教授、剑桥大学存在风险研究中心特聘研究员，他从宏观角度切入的研究往往得到颇具新意而又耐人寻味的观点，引发全球广泛关注。本期就让我们共同走近他的最新思考成果。
（以下内容摘自《智人之上》）
01
计算机网络的根本威胁是一致性问题
当我们在讨论社交平台上存在大量仇恨与谎言的时候，并不是暗示过去、现在和未来，所有假新闻与阴谋论的传播都该由计算机网络负责。
YouTube、脸书与其他社交媒体平台都表示，它们从2018年以来一直在调整算法，希望对社会负起更多责任。这究竟是否属实还很难说，特别是今天连“社会责任”一词都还没有一个清晰公认的定义。然而肯定能解决的一个问题就是别再为了追求用户参与度而污染整个信息领域。只要科技巨头真的想要设计出更好的算法，通常就能做到。
我们也不该无视YouTube、脸书与其他社交媒体平台确实为社会带来的巨大效益。当然，大多数YouTube视频与脸书帖子都不是假新闻，也没有煽动种族灭绝。社交媒体确实扮演了重要角色，联结人民，让过去权利遭到剥夺的群体得以发声，组织重要的新运动与社群，也激励人类展现出一波前所未有的创意。
在过去以电视为主流媒体的年代，常有人说观众只是“沙发土豆”：只会被动接受由少数天才艺术家创作的内容。脸书、YouTube与其他社交媒体平台唤起了这群“土豆”，让他们开始创作。社交媒体上的大部分内容（至少在强大的生成式人工智能兴起之前）都是用户自己（加上他们的猫猫狗狗）制作的，而不是出自少数专业人士之手。
然而，计算机面临的一个更大的问题：一致性问题。只要人类给计算机一个特定的目标，比如“让YouTube流量增加到每天10亿小时”，计算机就会竭尽全力，以各种不同方式实现这个目标。但由于计算机的运作与人类大不相同，很可能所用的方法将完全出乎人类的意料，造成未曾预见的危险后果，而与人类最初确立的目标完全不一致。就算推荐算法已经不再鼓励仇恨，计算机的其他一致性问题还是可能引发相关灾难。计算机变得越强大、越独立，这种危险也越大。
02
计算机一致性问题可能引发的灾难
在计算机网络的背景下，一致性问题的危险特别高，原因之一就是这个网络的权力可能远远高于过去任何人类官僚机构。如果是超级智能计算机出现了目标与人类不一致的状况，就可能导致前所未有的灾难。
哲学家尼克·波斯特洛姆2014年的著作《超级智能》中就有一个思想实验，试图说明这种危险。波斯特洛姆要我们想象一下，有一家回形针工厂买了一台超级智能计算机，工厂的人类主管要它完成一项看来再简单不过的任务：生产回形针，越多越好！结果为了完成这个目标，这台回形针计算机征服了整个地球，杀死了所有人类，并派出远征队占领更多行星，再用取得的丰富资源在整个银河系设立无数个回形针工厂。
这个思想实验的重点在于计算机只是乖乖地做人类要它做的事。它先“意识”到，要建造更多工厂、生产更多回形针，就需要电力、钢铁、土地与其他资源；接着又“意识”到，人类不太可能会放弃这些资源，于是这台超级智能计算机为了一心追求这个既定目标，在过程中直接消灭了所有人类。
波斯特洛姆想强调的是，计算机的问题并不在于它们特别邪恶，而在于它们特别强大。而计算机越强大，我们就越要小心为其确立目标，务必让计算机与人类的终极目标完全一致。如果只是个口袋计算器，即使我们给它确定的目标与人类的很不一致，后果也微乎其微。但如果是超级智能计算机，如果确定了一个与人类利益极不一致的目标，就可能催生一个反乌托邦。
在计算机这个领域，波斯特洛姆的思想实验还能让我们看到一致性问题格外重要的第二个原因：因为都是非生物实体，所以它们采用的策略很可能是所有人类从未想到的，自然无力预见并阻止。
这里有一个例子：2016年，达里奥·阿莫迪设计了一个名为“宇宙”（Universe）的项目，想要研发一款通用人工智能，它知道怎样玩几百种不同的计算机游戏。这款人工智能在各种赛车游戏中表现出色，于是阿莫迪决定让它试试赛船游戏。但不知道为什么，这款人工智能直接把船开进一个港口，接着就只是不断绕圈进进出出。
阿莫迪花了很久才搞清楚问题出在哪里。之所以会出现这个问题，是因为阿莫迪一开始不知道怎样告诉这款人工智能，它的目标是赢得比赛。对算法来说，“赢”并不是一个明确的概念。如果把“赢得比赛”翻译成计算机能懂的语言，阿莫迪就必须把排位、与其他参赛船只的相对位置之类的复杂概念都用形式语言表达出来。于是阿莫迪决定换个简单的办法，告诉人工智能得分越高越好。在他看来，得到最高分的应该和赢得比赛差不多，毕竟之前的赛车游戏都是这样的。
然而，那款赛船游戏有一个赛车游戏没有的特点，而聪明的人工智能找到了游戏规则的漏洞。在这款赛船游戏中，如果领先其他船只，玩家就能得到大量积分（这和赛车相同），然而船只每次靠港补充能量的时候，也能得到一些积分。结果人工智能就发现，与其试着超越其他船只，不如不断绕圈进出港口，这样反而能够更快积累更多积分。显然，无论是游戏的人类开发者还是阿莫迪都没注意这个漏洞。而这款人工智能所做的，正是这款游戏鼓励它做的事，只是这并不是人类想看到的。
这正是一致性问题的本质：我们奖励的是A行为，却希望得到B结果。要是我们希望计算机能带来最大的社会效益，就不该因为它们带来了最高的用户参与度而给予奖励。
担心计算机一致性问题的第三个原因，在于计算机与人类实在差异太大，所以就算我们不小心给出了与人类利益不一致的目标，计算机也不太会有所警觉或要求说明。
如果那个赛船人工智能是人类玩家，应该就会意识到，利用自己在游戏规则里发现的漏洞大概不能真正赢得比赛；如果那个回形针人工智能是人类官僚，应该就会意识到，人类的初衷大概不是让它为了生产回形针而毁灭人类。但正因为计算机不是人类，也就不能单纯信赖计算机会找出并警告可能的利益不一致现象。
在21世纪10年代，YouTube与脸书的管理团队早就受到人类员工（与外部观察者）的连番轰炸，警告算法正在造成的危害，但算法本身从头到尾浑然未觉。
随着我们让算法在医疗保健、教育、执法和许多其他领域拥有越来越大的权力，一致性问题也变得越来越严重。要是不设法解决，问题绝不只是算法让赛船一直绕圈刷积分而已。
03
承认自己的无知，是通向智慧的第一步
一致性问题该怎么解决？理论上，人类建设计算机网络的时候，就该为这个网络确立一个终极目标，并且永远不允许计算机更改或忽视这个目标。这样一来，就算以后计算机变得太强大，人类再也无法控制计算机，人类还是可以放心，知道计算机的力量只会帮助人类，而非伤害人类。
所以，史上的官僚制度是怎么设定它们的终极目标的？答案就是依靠各种虚构的神话故事。无论那些官员、工程师、税务员、会计师多崇尚理性，到头来还是会服务于这个或那个编造神话的人。套用凯恩斯的一句话，有些所谓务实人士，自认为不受任何宗教影响，但通常就是神话编造者的奴隶。
事实证明，一致性问题本质上就是个神话问题。计算机也可能碰上类似的问题。当然，计算机就是无意识的实体，无法真的“相信”任何神话。毕竟它们并没有主体性，自然也就无法拥有存在于主体间的“信念”这种东西。但我们必须了解计算机的一个重点是，在许多计算机相互通信的时候，就能形成一种“存在于计算机间的现实”，类似于人际网络所创造的“存在于主体间的现实”。这些存在于计算机间的现实，最终的力量（与危险性）可能不亚于人类所创造的存在于人类主体间的神话。
让我举一个重要的例子：网站在谷歌搜索中的排名。我们在谷歌上搜寻新闻、机票或餐厅推荐的时候，总会有某个网站列在第一页最上方，至于另一个网站可能会排在第50页的中间。谷歌的排名究竟有什么意义？它是怎么决定排名先后的？谷歌算法决定网站排名的方式，是通过各种参数来给每个网站打分，参数包括访问网站的人数、有多少网站链接到该网站等。而这套排名本身就成了计算机间的现实，存在于链接了几十亿台计算机的网络（互联网）之中。
这种存在于计算机间的现实也会外溢影响到物理世界。比如对各家新闻媒体、旅行社或餐厅来说，自己的网站究竟是出现在谷歌搜索的第一页最上端还是第50页的中间，影响是非常重大的。正因为谷歌排名如此重要，总有人费尽心思想要操纵谷歌的算法，提升自己网站的排名。
谷歌排名这样的计算机间现实，就很像人类创造的主体间现实。人类在几万年间主宰着地球，是因为只有人类有能力创造并维持各种主体间实体（如企业、货币、神祇、国家），再通过这些实体来组织大规模合作。而现在，计算机也可能具备类似的能力。
这不见得是个坏消息。毕竟如果计算机没有连接性与创造力，实用效益也会相当有限。人类现在之所以能越来越依赖计算机来管理金钱、驾驶车辆、减少污染、发明新药，正是因为计算机能够直接彼此沟通，找出人类看不到的规律模式，打造出人类可能永远想不到的模型。
现在人类该问的问题并不是如何剥夺计算机的创造力，而是如何把这些创造力导向正确方向。
我们在上文讨论计算机容易出错，不只是说计算机偶尔会搞错事实，或做出错误的决定。更严重的错误是，像人类网络一样，计算机网络可能无法在真相与秩序之间找到适当的平衡。
想象一下，几十亿台彼此互动的计算机组成网络，搜集大量关于这个世界的信息，并且在追求各自不同目标的过程中发展出共同的世界模型，帮助它们进一步沟通与合作。这个共同模型可能充满错误、虚构与缺漏，并且会是一个神话，而不是对宇宙的真实描述。
没有虚构的神话，大规模社会不可能存在，但这并不代表所有神话的质量没有高下之别。有些神话为了提防各种错误或过度行为，会坦然承认自己的源头可能有缺陷，并提出自我修正机制，允许人类质疑和改变。
然而，面对人类根本无法理解的计算机神话，我们如何探究与纠正？可能的一种防范方式是训练计算机时注意自己是否出错。正如苏格拉底所说，承认“我不知道”是通往智慧的重要一步。人类智能如此，计算机智能亦然。所有算法都该学的第一课，正是自己也可能犯错。这是有可能做到的。在鼓励人工智能自我怀疑、寻求他人意见、承认自己的错误这几个方面，工程师已经取得了长足的进步。
然而，不论算法是否意识到自己可能出错，我们都不该在这个过程中完全排除人类的参与。鉴于人工智能的发展速度，人类绝不可能预料到未来的发展情况，对所有潜在的危险做好准备。这也是人工智能与历史上的其他威胁（例如核技术）的关键区别。
人类很容易就能预料到核技术可能造成怎样的末日场景，最明显的就是爆发全面核战。但只要能够预料，就能够防范，并设法减轻危害。相较之下，人工智能可能带来的末日场景多到数不清。为了防范大量难以预料的威胁，我们最好的办法就是设置人类机构，在威胁出现时做出判断并加以应对。
总而言之，新的计算机网络不一定是好还是坏。我们能确定的是人类将很难理解这种网络，而且这种网络是会犯错的。因此，人类建立的机构除了要能够发现各种常见的人类弱点（例如贪婪与仇恨），还得有能力察觉从未见过的错误。这个难题无法用技术来解决，它是一个政治上的挑战。
