第七章 杞人忧天我们想象中的人工智能会出什么错（第1页）
第七章杞人忧天——我们想象中的人工智能会出什么错
进入21世纪以后，人工智能的飞速发展引起了媒体的广泛关注。其中有一些报道是公正合理的，不过坦白地说，大部分报道都愚蠢得无可救药。其中有一些报道颇有知识性和引导性，而大部分则是杞人忧天式的恐吓。比如2017年7月，各大媒体争相报道脸书关闭了两个人工智能系统，因为它们开始用自己的人工智能语言进行交流（显然它们的设计者无法理解）[93]。当时的新闻头条和社交媒体报道立场明确地暗示，脸书关闭这两个系统是因为害怕它们失去控制。事实上，脸书的人工智能实验是常规化并且完全无害的，连人工智能专业的学生都能承担这类实验项目。脸书的系统策划疯狂杀人的可能性和你家的微波炉突然变身成杀手机器人的概率一样大，实话实说，那是根本不可能的。
一方面，我觉得对于脸书事件的报道相当滑稽，但另一方面，这也让我十分沮丧。问题在于，这样滑稽的报道迎合了大众对人工智能的“终结者式恐惧”：我们正在创造一些自己无法控制的东西，这会给人类的生存带来风险〔此处你应该能听到阿诺德·施瓦辛格（Arner）在《终结者》影片中经典的角色配音〕。当然，我们创造出怪物的想法绝不是现代才有的：它至少可以追溯到玛丽·雪莱的《弗兰肯斯坦》。
这种说法仍然主导着有关人工智能未来的争论，现在的人们还经常用讨论核武器的口吻来讨论人工智能的未来。亿万富翁企业家、贝宝公司（PayPal）和特斯拉公司的联合创始人埃隆·马斯克（ElonMusk）就对此担忧不已。他发表了一系列公开声明，表达了自己的担忧，并捐赠了1000万美金作为研究经费，支持负责任的人工智能研究。2014年，当今最著名的科学家斯蒂芬·霍金曾公开表示，他担心人工智能会成为人类生存的威胁。
鼓吹人工智能“终结者式恐惧”真的会带来很严重的后果，原因如下：首先，它让我们担心一些我们完全没必要担心的问题；其次，它让人们把注意力从真正应该关注的人工智能问题上转移开。这些问题可能不像终结者幻想那样吸引人的眼球，可以成为头条新闻，但它们才是我们现阶段确确实实应该关注的。因此，在这一章中，我想解决有关人工智能的“终结者式恐惧”：类似《终结者》中的毁灭场景，到底有多大可能性出现；并且，人工智能是怎么出错的。接下来我会从直面这个故事开始，讨论它是怎么发生的，以及发生的概率有多大。这就会引出对人工智能伦理的讨论——人工智能系统充当道德智能体的可能性，以及已经提出的各种有关人工智能的伦理框架。最后，我将提醒大家注意人工智能的一个特点，就是它们很容易出故障，尽管还没到特别可怕的程度：如果我们想要一个人工智能系统代替我们工作，那么就需要跟它沟通我们想要的东西。但事实证明这很难做到，若是我们在传达意愿的时候稍有偏差，或许人工智能系统会给出我们所要求的、但并非我们真正想要的东西。
奇点主义？纯属胡扯!
在当代人工智能中，终结者式的场景通常跟名叫奇点的想法联系在一起，这个想法来源于美国未来学家雷·库兹韦尔（RayKurzweil）于2005年出版的著作《奇点临近》[94]。
奇点临近，其背后的关键思想是，人类创造技术的增速正在加快，技术的力量正在以指数级的速度扩张……在几十年内，以信息为基础的技术将涵盖所有人类的知识和技能领域，最终包括人类大脑自身的模式识别能力、解决问题的技能，以及情感和道德。
尽管库兹韦尔对奇点的定义相当宽泛，但这个术语已经逐渐被当作一个特定概念：奇点是指计算机智能（通用意义上）超过人类智能的一个假想点。有人认为，到达奇点以后，计算机可以开始运用自己的智能来改进自己，这个过程就会持续自我完善。之后，这些改进后的机器会用它们改进后的智能进一步改进自身，以此类推。从这一点上说，自奇点之后，仅仅依靠人类的智慧就不可能重新获得计算机的控制权了。
这个想法听起来很有道理，也十分令人恐惧。但我们先暂停一下，看看奇点背后的逻辑。简言之，库兹韦尔的推论主要基于这样的观点：计算机硬件（处理器和内存）的发展速度很快会超过人脑的信息处理能力。他的推论引用了计算机领域一个著名的定律——摩尔定律。摩尔定律是计算机处理器公司英特尔的联合创始人戈登·摩尔（GordonMoore）在20世纪60年代中期提出的，所以以他的名字命名。晶体管是计算机处理器的基础组成单元，在芯片上安装的晶体管数量越多，芯片在给定时间内能够处理的工作量就越大。摩尔定律指出，半导体固定面积上的晶体管数量大约每隔18个月就会翻一番。简单地说，按照摩尔定律，计算机处理器的功率每隔18个月就会提升一倍。摩尔定律有几个重要的推论，其中之一是计算机处理器的能耗会以同样的速度降低，处理器本身的体积也会逐渐缩小。近50年来，摩尔定律一直被证明是非常可靠的，而在2010年前后，现用处理器技术开始触及物理极限。
现在来看，库兹韦尔的推论隐晦地将奇点出现的必然性与计算机的运算能力简单地关联起来，然而，这种关联是合理的吗？请允许我做一个思考实验，想象一下，我可以把你的大脑复制到一台电脑上（不用紧张，仅仅是想象），假设用来装载你的复制大脑的电脑是有史以来运行速度最快、最强大的电脑，有惊人的运算速度，那么你就会拥有超级智慧吗？当然，你可以“快速思考”，但这会让你突变得极其聪明吗？从某种微不足道的意义上来说，我想或许会——但是，从任何有意义的智力层面上来说，不会，更不可能让你突破奇点[95]。换句话说，单纯的计算机处理能力的提高不会导致奇点的必然出现。或许这是一个必要条件（如果没有高性能的计算机，我们无法实现人类级别的人工智能），但并不是充分条件（仅仅拥有高性能计算机并不能让人工智能实现宏伟梦想）。再换句话说，人工智能软件（例如机器学习）的改进速度比硬件发展速度要慢得多。
怀疑奇点主义还有其他理由[96]，一方面，即使人工智能真的能达到人类级别的智能化，也不意味着它就能够以超出我们理解的速度提升自己。正如本书中已经明确的那样，在过去的60年里，我们的人工智能发展之路极其缓慢——那又有什么证据证明类似人类智力水准的通用人工智能能够迅速提升人工智能的发展速度呢？
也有人论证说人工智能系统互相合作以获得超出人们理解或者控制的智能（参见本章开头提到的脸书事件）。但我同样不认为这种论证具有说服力：假设你聚集了1000个爱因斯坦的克隆体，它们的集体智慧会是爱因斯坦的1000倍吗？事实上，我怀疑它们的集体智慧远远无法达到这个数字。再说一次，虽然1000个爱因斯坦克隆体可以比1个爱因斯坦更迅速地完成一些事情，但并不代表它们就变得更聪明了。
基于这些以及更多的原因，我认识的大多数人工智能研究人员都对奇点主义持怀疑态度——至少在可预见的未来，在计算机和人工智能技术方面，还不知道有哪条路能把我们从现在的位置带到奇点。但一些严肃的评论员仍对此感到担忧，并声称我们无视奇点的观点太过自负，他们认为核能就是最好的反面教材。早在20世纪30年代初，科学家们就知道有大量的能量被锁在原子核中，却不知道如何释放，甚至不知道能否释放。一些科学家对利用核能的想法嗤之以鼻：卢瑟福（Rutherford）勋爵是彼时最著名的科学家之一，他认为，人类妄想能利用这种能量，简直是“自作聪明”。但是，讽刺的是，就在卢瑟福否定核能可用性的第二天，物理学家利奥·西拉德（LeoSzilard）在伦敦一边过马路，一边仔细思考卢瑟福的声明，突然就冒出了核连锁反应的点子。10年后，美国向日本城市投放原子弹，释放出恐怖的能量，而这一切，就来源于西拉德的灵光一闪。人工智能会不会有一个利奥·西拉德式的灵光闪现呢？一个突如其来的顿悟，把我们很快带向奇点？当然，我们不能排除这种可能性，但它确实微乎其微。核连锁反应实际上是一个非常简单的机制，连中学生都可以理解它。过去60年人工智能研究的所有经验告诉我们，人类水准的人工智能并非如此。
遥远的未来是否会出现奇点？100年后，或者1000年后？在此，我不得不承认，很难说。试图预测计算机技术在100年后（更别提1000年后了）会是什么状况，真是不明智的行为。但在我看来，如果奇点出现了，就像《终结者》里面的场景那样，这简直不可思议。用罗德尼·布鲁克斯的比喻，把人类的智慧想象成波音747，我想问问，我们有没有可能仅凭灵光一闪就发明波音747？或者在毫无预期的情况下就把波音747发明出来了？显然不可能。当然，也存在质疑的观点，哪怕出现奇点的可能性微乎其微，但一旦它出现，对所有人类而言，不啻一场灭顶之灾，所以现在开始要对奇点进行预先思考和计划，是完全有必要的。
不管奇点是否会出现（很显然，我的观点是不会），但目前看来，确实有不少人很担忧人工智能的发展，认真考虑是否要对其进行监督。我们是否需要法律——甚至国际公约来控制人工智能的发展，就像我们应用核能一样？不过，我认为引入一般的法律来管理人工智能的使用没有可行性，这就有点像试图通过立法来管理数学应用一样滑稽。
我们得谈谈阿西莫夫
每当我和一个普通观众讨论《终结者》的故事时，总有人建议，我们要在构建人工智能的时候就考虑约束问题，避免它成为无法控制的杀人机器。在这之后不久，通常就有人建议我们考虑著名科幻作家艾萨克·阿西莫夫（IsaacAsimov）提出的机器人三定律。机器人三定律是由阿西莫夫在机器人系列故事中提出的，在他的故事里，机器人装备了强大的人工智能——“正电子大脑”。阿西莫夫最早在1939年制定了三定律，在接下来的40年里，机器人三定律为他提供了巧妙的情节设计，最终成就了一系列著名短篇小说，以及一部令人失望的好莱坞电影[97]。阿西莫夫故事中人工智能的“科学性”，即正电子大脑毫无意义，当然，这丝毫不影响故事的趣味性。对我们来说，最有趣的是机器人三定律本身：
第一定律：机器人不得伤害人类，也不得因为不作为而让人类受到伤害。
第二定律：机器人必须服从人给予它的命令，除非该命令与第一定律冲突。
第三定律：机器人在不违反第一、第二定律的情况下要尽可能保证自己的生存。
真是完美的设定，乍一看巧妙又稳妥地解决了问题。那么，我们可以在构建人工智能的时候内置这些定律吗？
关于阿西莫夫的机器人三定律，首先要说的是，它们设计得虽然精巧，但阿西莫夫的故事很多时候都是发生在定律有缺陷或者互相矛盾的情况下。例如，在故事《环舞》中，一个名叫SPD-13的机器人要无休止地围着一池熔融的硒绕圈，因为要遵守人类下达的采硒命令（第二定律）和保护自己（第三定律）之间存在冲突，所以它只能在离硒矿湖固定的距离处绕圈子，如果它再靠近一点硒矿湖，保护自己的定律开始起作用，让它远离；而它要是离得过远，采硒矿的命令又起作用，它必须服从。在阿西莫夫的故事中还有许多其他例子（我强烈推荐你去读一下）。因此，三定律本身虽然很巧妙，但绝不是无懈可击的。
但机器人三定律更大的问题是，它在人工智能系统中根本无法实施。
想想实施第一定律意味着什么，当人工智能在考虑每一个动作时，都需要考虑这个行为可能产生的影响，大概需要考虑全人类（或者能够涉及的部分人类）以及未来可能出现的影响（总不能只关心现在吧）。这是不可行的。另外，“不得因为不作为而让人类受到伤害”这一条也存在同样的问题：系统能够做到不断地思考它涉及的每个人所有可能的行为，并且思考自己是否有相关行为能够阻止他们受到伤害吗？这也是不可行的。
即使单单捕捉“伤害”这个概念也很困难，试想一下：当你坐飞机从伦敦飞往洛杉矶时，你消耗了大量的自然资源，并在途中产生大量污染和排放大量二氧化碳。毫无疑问，这肯定会对某些人产生伤害，但这种伤害的程度不可能精确量化。如果你不相信的话，我可以告诉你，我认识一些不愿意坐飞机旅行的人，他们的理由就是如此。所以，我想，一个遵守阿西莫夫三定律的机器人是不会坐飞机的。事实上，我怀疑它不能做任何事情，它可能只会蜷缩在某个角落，躲在世界的一隅，因为优柔寡断而如同废铁。
因此，虽然阿西莫夫的机器人三定律为人工智能系统的构建提供了高层次的原则性指导（事实上，我认为大部分人工智能研究人员都会暗地里认同这些准则），但是，像阿西莫夫的故事里那样，把三定律真正编码进入人工智能系统中的想法，并不现实。
这样一来，阿西莫夫的三定律，以及其他善意的人工智能伦理准则对我们没多少帮助，那么我们又该如何考虑人工智能系统行为的可接受性呢？
我们还是别谈电车难题