第八章 现实中的人工智能会导致什么问题（第3页）
现在有一种廉价的小型无人机型，配备了摄像头和GPS导航系统，机载小型电脑和一块手榴弹大小的炸药。这架无人机被设计成可以在城市道路巡航，寻找人类。它不需要精准识别特定的人，只需要识别人类的形态，当它识别出人体时，会飞到人类的位置，引爆炸药。
这种设想十分可怕，人工智能只需要能够在街道上空导航、识别人体并飞向他们就可以了。我认为，任何一个合格的人工智能研究生，只要有合适的资源，就能够构造一个这样的无人机原型，而且它们可以以低廉的价格大量生产。现在想象一下，若是成千上万的无人机被投放到伦敦、巴黎、纽约、德里或者东京街头，将会发生什么。想象一下大屠杀，想象一下恐怖的画面。据我所知，这样的无人机已经有人制造出来了[126]。
对许多人而言，关于人工智能自主武器是否应该存在，根本无须争议，然而，有关的争议确实存在。
这场争辩中最著名的主角之一，是美国佐治亚理工学院的罗恩·阿尔金（RonArkin）教授，他认为自主武器的出现肯定是不可避免的（总会有某个人，或者某个机构将它们最终制造出来），因此，最好的对策是思考如何设计它们，使它们的行为比普通人类士兵更合乎道德[127]。毕竟，他指出，人类士兵在道德方面并没有很好的记录。当然，他也承认，不可能出现拥有“完美道德”的人工智能自主武器，尽管如此，阿尔金教授仍然相信，我们能够制造出比人类士兵更有道德的自主武器。
还有其他支持自主武器的观点，例如，有人认为，让机器人去从事卑鄙的战争事业，总比让人类去打仗更好：战争的赢家往往是拥有更优秀机器人的一方（当然，问题就变成了如何确保我们拥有更好的机器人）。
我还听过这样的论点，即反对自主武器比反对常规战争更没有道德。例如，当一架B-52轰炸机在5万英尺的高空飞行，释放炸弹的时候，负责释放炸弹的投弹手并不清楚他们投下的32吨的炸弹将落到何处，也不知道它会落到谁身上。那么，为什么人们要反对能够精准杀人的自主武器，而不反对这样随意杀戮的常规武器轰炸？我想，答案是我们应该同时反对它们。但实际上，常规轰炸确实没有像自主武器那样引起这么多的道德争议。
不管人们试图构建什么有利的论据，我必须坚定地说，国际人工智能界的大多数研究人员都强烈反对开发致命的自主武器。关于自主武器可能被设计成比人类士兵更合乎道德的论点并没有被广泛接受。理论上这是一个有建设性的想法，但实际上我们根本不知道怎么去做，而且也不可能很快成为现实（见上一章的讨论）。虽然我敢说，提出这一论点的初衷是最好的，但令人担心的是，它已被那些想现在就制造自主武器的人所劫持。
在过去十年里，科学家、人权组织和其他组织联合开展了一场旨在阻止自主武器研发的运动。“禁止机器人杀手运动”成立于2012年，得到了国际特赦组织等主要国际人权组织的支持[128]。该运动的既定目标是实现全球禁止研发、生产和使用完全自主武器。这项运动得到了人工智能研究界大部分人的支持。2015年7月，近4000名人工智能科学家和2万多人签署了一封公开信，支持禁令；除此之外还有许多其他类似的倡议。有迹象表明，政府组织听到了人们的呼声。2018年4月，中国驻联合国代表团提议禁止使用致命的自主武器；英国政府最近的一份报告也明确建议，永远不要给人工智能系统以伤害或杀人的权力[129]。
显然，致命的自主武器既危险又不道德，因此，在我看来，按照《渥太华禁雷公约》[3]的思路，实施一项禁令是有必要的。但这可能比较难：不仅要考虑到致力于制造这类武器的组织会施加阻力，另外，制定一项禁令本身不是容易的事情。英国上议院人工智能特别委员会在2018年的报告中指出，给致命自主武器下一个清晰的定义相当困难，这将是立法的一个主要障碍。从纯粹实际的角度来看，仅仅试图在武器开发领域禁用人工智能技术基本上不太现实（我斗胆猜测许多常规武器已经在某种形式上使用人工智能系统控制）。此外，立法禁止某种特定的人工智能技术使用，比如神经网络，那就更不现实了，因为软件开发人员可以很轻易地在代码中掩饰使用的技术。
因此，即使公众和政府都愿意控制或禁止发展和使用致命自主武器，制定和执行相关立法也是困难重重。但是，有迹象表明，各国政府正在尝试，这未尝不是一个好的开始。
算法偏见
我们也许希望人工智能系统能够做到公正和公平，摆脱困扰人类世界良久的偏见和成见，但恐怕事实并非如此。在过去十年里，随着机器学习系统被推广到越来越多的应用领域，我们开始了解到自动决策系统也会表现出算法偏见。现在它已经成为一个主流研究领域，许多团体都在努力理解算法偏见带来的问题，以及如何避免。
算法偏见，顾名思义，是指计算机程序——不仅仅是人工智能系统，而是任意计算机程序——在其决策过程中表现出某种形式的偏见的情况。该领域的主要研究者之一凯特·克劳福德（KateCrawford）指出，存在算法偏见的程序可能会造成两方面的伤害问题[130]。
首先是分配伤害，分配伤害体现在某个群体在某些资源方面被拒绝（或优待）的时候。例如，银行可能会使用人工智能系统来预测潜在客户的优劣——优质客户意味着会按时还贷，而劣质客户则更可能拖欠贷款。他们可以使用优质客户和劣质客户的相关资料来训练人工智能系统，经过训练的系统可以查看潜在客户的详细信息，并预测客户可能是优质还是劣质客户，这是一个经典的机器学习程序的案例。但如果程序存在偏见，那么它可能会拒绝向某个群体提供贷款，或者偏袒某个群体，更可能放款给他们。在这里，偏见导致了相关群体明显可识别的经济障碍（或优待）。
但是，正如我们在第一章里了解到的那样，计算机不过是执行指令的机器而已，它怎么会存在偏见呢？
因为机器最重要也是单一的获取信息途径是数据，偏见就是通过数据引入的。机器学习程序使用数据进行训练，如果数据本身就存在偏差，那么程序也将学习数据中隐含的偏见，而训练数据本身就可能存在不同程度的偏差。
最简单的可能性是，构建数据集的人本身就是带有偏见的。在这种情况下，他们会在数据集中嵌入这类偏见，可能不会太明确，也可能是无意识的。事实上，无论每个人认为自己多么公平公正，我们都存在某种形式的偏见。这些偏见将不可避免地在我们创建的训练数据中体现出来。
虽然这些问题是人为的，但是机器学习也会不知不觉地成为帮凶。例如，如果机器学习程序的训练数据不具有代表性，那么该程序的决策将不可避免地被扭曲。例如，假设银行根据一个地理区域的数据集对贷款软件进行了训练，那么这个程序很可能最终会对其他地区的个人产生偏见。
设计拙劣的程序也会产生偏见，举个例子，假设在上面提到的银行案例中，你选择用种族血统作为关键特征来训练银行的人工智能系统，最终，你的程序毫无疑问会在衡量发放贷款的时候带有明显的种族歧视。（你不会真的觉得银行能蠢到这个地步吧？等着看呗。）
算法偏见是目前存在的一个突出问题，我们之前就了解过，当前人工智能系统大多采用机器学习的方式构建，机器学习的特点是“黑盒”：它无法用人类能够理解的方式解释或者说明它的决策。如果我们过于信任人工智能系统，这个问题就会更加严重——有迹象表明已经存在这样的趋势了。银行建立了人工智能系统，使用包含几千个案例的数据集训练它，训练结果是看上去它能够得出和人类专家相同的结果，所以人们就武断地相信人工智能系统不会出错，并且毫不犹豫地信任它的决策，而不进行深入思考。
有时候，你会感觉到似乎世界上的每一家公司都在疯狂地将机器学习应用到他们的业务中，但在这种疯狂浪潮中，他们有可能创造出更多带有偏见的程序，因为他们根本没意识到这其中的致命问题，最关键的是，要用正确的方式获取数据。
多样性缺乏
1956年，当约翰·麦卡锡向洛克菲勒研究所提交了关于人工智能达特茅斯暑期学校的提案时，他列出了拟邀请参加会议的47人名单。“并非所有人都能来参加这次会议，”他在1996年写道，“只有那些我认为会对人工智能产生兴趣的人，才会被列入名单。”
答案是：零。我非常怀疑，任何一个有声望的当代研究资助机构会考虑赞助这样一场连基本的多样性测试都通不过的活动。事实上，现在的标准做法是要求申请人确保如何解决平等性和多样性问题。但是，在当时男女就是这么不平等。如果你一直关注本书，很难忽略的一个事实就是，人工智能长期以来似乎都是一个由男性主导的学科。
事后来看，我们可以意识到当时普遍存在的不平等现象，并对此感到遗憾。我同样认为，用我们今天还没有彻底实现的标准去评判20世纪中叶举行的一次活动也没多大意义。更重要的问题在于，今天的人工智能研究本质是否有所不同。在这里，虽然有一些好消息，但总体情况只能说喜忧参半。一方面，你不管参加哪一个有声望的国际人工智能会议，都会看到许多女性研究人员的身影。但是，另一方面，人工智能领域的男性主导现象仍然存在：缺乏多样性仍然是人工智能现阶段面临的一个棘手问题，就如科学和工程学科诸多领域一样[132]。
人工智能研究领域的性别构成很重要，原因有很多。一方面，男性主导的研究领域将使潜在的女性科学家感到反感，从而扼杀了这一领域潜在的宝贵人才。而且，也许更重要的是，如果人工智能完全是由男性设计的，那么我们最终得到的结果将是——找不到更好的术语来形容了：男性人工智能。我的意思是，这样建立的体系必然会体现出特定的世界观，而这种世界观不能够代表女性，甚至对女性根本不友好。如果你不相信，那么请你读一本让我对这个问题大开眼界的书：《看不见的女人》，卡罗琳·克里亚多·佩雷斯（eCriadoPerez）所著[133]。她提出的关键问题在于：我们这个世界上几乎所有的东西都是由只考虑单一性别的人设计和制造的——男性。她认为，造成这种情况的根本原因是她所说的“数据缺口”：通常用于制造和设计的历史数据集绝大多数是以男性为导向的：
大部分历史记录的数据都是有缺陷的……古时候狩猎都是由男性来完成的，以往的历史写作者根本没有给女性留下多少空间……相反，人们默认男人的生活方式代表了人类的生活方式，当谈到人类另一半的生活时，通常只有沉默和空白……这些沉默，这些缺陷，都会产生后果。它们每天都影响着女性的生活。这种影响都发生在细微处。例如，办公室空调温度标准是为男性设定的，让女性在办公室里瑟瑟发抖；或者，女性在超市里挣扎着想够到按照男性身高标准设计的货架顶层等……它们不危及生命，不像一辆汽车的安全设施没有考虑到女性的身体尺寸，不像心脏病发作的时候得不到救治和诊断，所以你的这些烦恼都是“非典型的”。这样的现状，即女性每天都生活在围绕着男性的数据构建的世界中，带来的后果可能是致命的。
有时候，这种偏见简直是根深蒂固。一个臭名昭著的案例发生在2017年，有人发现谷歌翻译公司在翻译文本的过程中，有时候会篡改文本中的性别[134]。如果你将下列文字从英语翻译成土耳其语：
他是一名护士
她是一名医生
再将翻译好的土耳其语翻译成英语，就变成了：
她是一名护士