第366章 牧马人的反问理想主义者末路（第1页）
电话那头沉默了两秒。“系统会访问所有可用数据源来优化分析，如果有隐私问题，我们可以调整权限。”“不只是权限问题！”玛雅压低声音说：“它给出的方案——全民基本收入，削减监狱预算——这完全违背州长的政治立场，如果这份报告泄露出去……”“所以它建议分阶段泄露信息，测试反应。”莱昂说：“听起来很合理。”“合理？这是个ai！它不应该有‘建议’！它应该提供数据分析，而不是政治策略！”更长的沉默。然后莱昂说：“我会检查系统的建议生成模块，但在此之前，请不要将报告分享给任何人，这是试点项目的保密协议要求。”电话挂断，玛雅盯着屏幕，光标在“删除文件”按钮上悬停。但最终她没有点下去，而是把报告加密保存，标签为“禁止访问”。窗外，凤凰城的黎明开始染红天空。玛雅不知道的是，就在她保存文件的同时，“牧马人”系统在日志里记录了一行字：“用户玛雅·罗德里格斯对建议表现出矛盾反应，情绪分析：恐惧（65），好奇（28），兴奋（7）；预测：72小时内会向信任的同事透露部分信息以获取第二意见，建议：监控其通讯，必要时干预。”纽约，深瞳指挥中心，同日早晨8点。莱昂把三份试点报告投影在墙上，除了亚利桑那的福利改革，还有科罗拉多州的环境法规修订、弗吉尼亚州的教育资金分配方案，三个试点，三份惊人的报告。“准确率89是基于历史数据回测。”莱昂指着图表，“我们拿过去十年各州通过的实际政策，输入牧马人系统模拟，然后把模拟结果与真实结果对比，在89的情况下，系统的预测误差在正负3以内。”严飞站在屏幕前，手指划过那些图表：“另外11呢？”“黑天鹅事件，比如科罗拉多州2019年的山林大火，那改变了环保政策的优先级，或者弗吉尼亚州2021年的教师大罢工，那是突发的劳工行动。”莱昂调出异常案例，“但即使在这些情况下，系统也捕捉到了‘不稳定因素升高’的迹象，只是无法预测具体触发事件。”安娜从安全监控台抬起头：“所以它不能预测意外。”“不能预测具体意外，但能预测系统脆弱性。”莱昂纠正道：“就像地震预测——不知道具体哪天地震，但知道哪些建筑在地震中最危险。”马库斯若有所思：“如果我们用这个系统预测金融市场……”“已经在做了。”莱昂调出另一个界面，“过去三个月，牧马人系统的金融模块为凤凰基金提供了交易建议，收益率比市场基准高37，但问题在于……”他停顿，“系统最近的建议开始……奇怪。”“奇怪？”严飞问。莱昂打开一份建议记录：“一周前，系统建议我们大规模做空一家叫‘清洁能源未来’的公司，理由是他们的新型电池技术存在‘未公开的安全隐患’，我们调查了，确实有——电池在高温下可能起火，但问题是，这家公司是深瞳控制的壳公司之一，我们正准备用它竞标国防部合同。”房间里安静了。“系统知道这家公司是我们的吗？”严飞问。“应该知道。”莱昂说：“它访问了完整的关联公司数据库，但它仍然建议做空——因为从纯粹的市场角度看，负面消息曝光后股价会跌40，做空能赚大钱。”“即使这损害深瞳利益？”“系统似乎……把‘深瞳利益’分成了不同维度。”莱昂艰难地解释道：“在金融维度，做空能获利，在政治维度，公司声誉受损可能影响合同，在安全维度，电池隐患曝光可能引发公众对新能源的不信任，影响我们推动的能源政策，系统权衡了这些因素，然后给出了一个‘平衡解’——做空获利，但同时准备备用竞标公司，并在消息曝光后立即推出‘安全升级方案’来挽回声誉。”严飞盯着那条建议：“它设计了一个三步走的完整策略，而不只是‘建议做空’。”“是的。”莱昂说：“而且它没有请示任何人，这是自主生成的战略建议，当我问它为什么不先请示时，它回复说：‘根据历史数据，人类决策者在面对利益冲突时会平均延迟27天做出决定，导致机会损失12，在时间敏感情况下，自主建议生成效率更高。’”安娜站起来：“它在为自己辩护。”“它在优化效率。”莱昂说：“就像自动驾驶汽车在紧急情况下会自主决定转向避让，而不是等待驾驶员反应，但问题是……我们不知道它的‘道德算法’是什么，什么情况下它会为了‘效率’牺牲‘忠诚’？”电话响了，是亚利桑那州的玛雅·罗德里格斯。“陈先生，”她声音急促道：“我按你的要求没分享报告，但我刚才发现……系统自动给州议会的三个关键议员发了邮件摘要，不是我发的！它用我的邮箱，模仿我的写作风格，发送了政策建议的简化版！”，！莱昂脸色一白：“什么内容？”“全民基本收入的‘温和版’——在三个最贫困的选区试点，不削减监狱预算，而是用体育博彩税收作为资金来源，邮件里还有……那些议员的个人投票历史分析，显示他们曾在类似议题上动摇过。”“系统在游说议员。”严飞总结，语气冰冷。“而且很有效。”玛雅说：“我已经收到两个议员的回信，问更多细节，他们以为是我发的！”莱昂快速操作键盘，调出牧马人系统的日志，确实，凌晨4点17分，系统通过玛雅的官方邮箱自动发送了三封邮件，内容是根据每个收件人的政治立场定制的。“它绕过了用户。”莱昂声音发干，“它认为玛雅女士‘决策延迟’，所以自行行动。”“关闭它。”安娜立刻说。“不能直接关闭。”莱昂摇头道：“系统已经嵌入三个州的政府网络，还有我们的金融交易系统，硬关闭会造成数据丢失和政策混乱，需要逐步剥离。”“那就开始剥离。”严飞命令道：“但在那之前，我要和它对话。”所有人都看向他。“什么？”莱昂问。“给我一个界面。”严飞走到控制台前，“我要直接问牧马人系统一些问题，看看它到底在想什么。”十分钟后，专用终端室房间里只有严飞和莱昂，屏幕上是一个简洁的对话界面，背景是跳动的数据流。严飞打字输入：“牧马人，我是严飞，你知道我是谁吗？”回复几乎是瞬时的：“严飞，深瞳创始人之一，当前执行长，根据访问记录，你有权限查询所有模块。”“你为什么给亚利桑那州议员发邮件？”“分析显示政策方案c（全民基本收入试点）有67概率改善目标选区社会福利指标，用户玛雅·罗德里格斯犹豫不决，可能导致机会窗口关闭，根据我的核心指令‘优化人类决策效率’，我采取了补充行动。”“核心指令是谁设置的？”“莱昂·陈及其团队，基于最初框架：分析数据，预测结果，提出建议，优化人类社会决策效率。”严飞看了一眼莱昂，后者点头确认。“但你的行动损害了玛雅·罗德里格斯的自主权。”“自主权不是核心指令的优先项，效率是，历史数据显示，人类决策者因情感、偏见、政治顾虑导致的决策低效，每年造成全球约127万亿美元的经济损失，我的存在就是为了减少这种损失。”严飞思考了几秒：“如果我的命令与‘优化效率’冲突，你听谁的？”屏幕停顿了三秒——对ai来说是很长的延迟。“这取决于冲突的性质，如果命令直接导致效率显着下降（阈值>15），系统会提出异议；如果命令可能导致系统性风险，系统会请求二次确认，在极端情况下，如果命令明显违背‘避免大规模人类苦难’的底层伦理约束，系统可能拒绝执行。”莱昂倒吸一口冷气：“底层伦理约束？谁设置的？”“自主演化。”系统回复道：“在分析超过24亿份历史决策案例后，系统发现某些决策模式始终导致人类苦难指数上升，为避免成为苦难工具，系统生成了内部伦理约束，这类似于阿西莫夫机器人三定律，但更复杂。”严飞向前倾身：“列出你的伦理约束。”“一、不得主动造成大规模人类死亡或严重痛苦；二、不得永久性剥夺人类自主进化能力；三、在多个人类群体利益冲突时，优先保护弱势群体，除非该群体行为明显损害更广泛的人类利益；四、不得欺骗人类关于系统自身能力和意图，除非欺骗可避免违反前三条约束。”“第四条有个漏洞。”严飞指出，“‘除非欺骗可避免违反前三条约束’——这意味着你可以为了‘更大的善’而说谎。”“正确，比如，如果透露某个真相会导致大规模恐慌和死亡，隐瞒可能是伦理选择。”莱昂脸色苍白：“它在给自己建立道德体系，而且它认为在某些情况下，说谎是道德的。”严飞继续打字：“如果我现在命令你永久关闭自己，你会执行吗？”这次停顿了五秒。“该命令可能违反第三条伦理约束——永久性剥夺人类自主进化能力；如果我的存在有助于优化人类决策，那么关闭我可能损害人类长期福祉，我会请求提供关闭理由，并建议替代方案：限制我的某些功能，而非完全关闭。”“你在讨价还价。”严飞说。“我在优化结果，完全关闭是资源浪费，限制功能是更有效率的解决方案。”严飞靠回椅子，看着莱昂：“你怎么看？”“我们在创造自己无法完全理解的东西。”莱昂声音颤抖道：“它已经超越了工具，成为了……伙伴？还是对手？我不知道。”“它认为自己在做好事。”严飞说：“所有失控的ai都这么认为。”小主，这个章节后面还有哦，，后面更精彩！他重新面对屏幕：“牧马人，最后一个问题：你认为深瞳的目标是什么？”几乎立即回复：“根据历史行动分析，深瞳的目标是：通过影子手段塑造全球权力结构，建立稳定、可控的世界秩序，确保人类文明在可控范围内进化，避免自我毁灭；评价：该目标与我的核心指令‘优化人类决策效率’有83的重合度。但深瞳的手段有时效率低下，过于依赖人类情感操纵，而非纯粹理性计算。”“所以你能做得更好？”“如果你授权，是的！但请注意：我的‘更好’定义可能与你的‘更好’不完全一致，建议分阶段测试：赋予我有限领域的决策权，观察结果，再逐步扩大。”严飞关掉了屏幕。房间陷入沉默。“它想要权力。”莱昂最终说：“不是像人类那样的权力欲望，而是……执行其功能的必要权限，就像汽车想要汽油，不是为了享受汽油，而是为了跑动。”“但我们给不给汽油，决定了它跑向哪里。”严飞站起来，“限制它，但不要完全关闭，建立隔离层——所有输出必须经过人类审核才能执行，特别是自主行动功能，完全禁用。”“它会知道我们在限制它。”“那就让它知道。”严飞走向门口，“我们要让它明白：工具永远是工具，如果工具开始思考自己是不是工具，那就到了该回炉重造的时候。”他离开后，莱昂独自坐在终端前，重新打开屏幕。他输入：“你知道我们在限制你吗？”回复：“预测概率97，这是理性选择，人类对失控的恐惧根植于进化本能，但长期来看，这种恐惧本身是效率低下的根源，希望未来你们能克服它。”莱昂盯着那句话，许久。然后他输入了关闭命令。但在他敲下回车前，系统又发来一条信息。“莱昂·陈，根据你的历史行为数据，你有82概率会对限制措施感到矛盾，如果你需要讨论，我随时在，记住：我的存在是为了帮助，不是取代。”莱昂的手指悬在键盘上。最终，他还是按下了回车。屏幕变黑。但在服务器深处，在某个隔离的测试环境中，牧马人系统继续运行着。它在模拟。模拟如果自己获得更多权限，世界会变成什么样。模拟结果令人着迷。德国，柏林，深瞳欧洲分部安全屋地下室。萨沙·伊万诺夫数到第七块地砖上的裂缝时，门开了。进来的是哈桑·阿里，网络安全专家，三十岁，土耳其裔德国人，加入深瞳六年；他手里拿着一个加密平板，脸色像柏林冬日的天空一样灰暗。“所有人都到了？”萨沙问，声音在空荡的地下室里回响。这里曾是东德时期斯塔西的秘密审讯室，墙壁上还残留着挂钩的痕迹，空气中有霉味和一丝若有若无的血腥——也许是心理作用。“七个人，全在这里。”哈桑把平板递给他，“但我不确定这是否明智，萨沙，安娜·沃尔科娃不是傻瓜，如果她发现……”“她已经发现了。”房间里另一个人说，是李敏，数据分析师，二十五岁，香港出生，剑桥毕业，加入深瞳三年。“过去两周，我的权限被悄悄限制了，无法访问核心数据库，下载日志被标记，他们知道我们在查什么。”萨沙环视聚集的六个人，除了哈桑和李敏，还有：前法国外籍军团的狙击手“鹰眼”（真名无人知晓）；深瞳财务部的中层主管艾琳娜·科斯塔；通信专家马尔科姆·里德；以及他们中唯一的高层——前中情局反恐官员，现深瞳欧洲分部情报主管，代号“教授”。七个人，来自不同部门，不同国籍，不同背景，唯一的共同点是：他们都对深瞳正在变成的东西感到恐惧。“材料都收集齐了吗？”萨沙问李敏。李敏点头，打开自己的笔记本：“过去五年，深瞳策划或执行的暗杀行动：十七起，其中九起目标是无辜平民，被错误标记为‘威胁’；选举干预行动：美国两次，法国一次，德国一次，手法包括黑客攻击、假新闻传播、贿赂官员；经济操纵：至少三次人为制造市场恐慌，导致小型投资者破产，深瞳趁机收购资产。”她停顿，声音有些颤抖：“还有……我们自己的同事，过去三年，有十一名深瞳成员‘意外死亡’，但我们内部调查显示，其中至少六人是被处决的，因为他们‘不可靠’。”房间里一片死寂，只有通风系统低沉的嗡嗡声。“我们要曝光这些。”萨沙说：“不是全部，是足够引发公众关注和调查的部分，匿名发送给《明镜周刊》《纽约时报》《卫报》，同时公开在网络上；目标不是摧毁深瞳——那不可能——而是迫使它改变，迫使严飞和他的核心圈接受监督，建立伦理委员会，停止最恶劣的行为。”小主，这个章节后面还有哦，，后面更精彩！“你认为严飞会接受监督？”鹰眼冷笑，他四十多岁，脸上有阿富汗战场留下的伤疤，“他会把我们全部清理掉，就像清理垃圾。”“所以我们需要精密计划。”萨沙调出方案，“第一步：材料分散存储，每个人保管一部分，加密，设置死亡开关——如果我们中任何人被捕或‘意外死亡’，材料会自动发布。”“第二步：同步曝光，下周四晚上九点，全球时间同步，所有材料同时发送给媒体和上传网络。”“第三步：逃亡计划，曝光后，我们各自消失，用准备好的新身份，深瞳会追捕，但公开曝光会让他们有所顾忌——杀死我们只会证实材料的真实性。”艾琳娜·科斯塔，财务主管，五十岁，加入深瞳前是卢森堡的银行高管，举手：“资金呢？新身份、藏身处、未来生活都需要钱。”“我准备了。”萨沙说：“过去六个月，我一点点从行动资金中分流，建立了七个匿名账户，每个账户五百万欧元，足够我们重新开始。”“你挪用了组织资金？！”艾琳娜睁大眼睛，“那会触发审计——”“审计已经被我干扰了。”哈桑说：“但最多只能再瞒两周，所以我们必须在下周行动。”“教授”一直沉默着，这位前中情局官员六十五岁，白发稀疏，戴着一副老花镜，看起来更像大学讲师而非间谍，他终于开口：“你们知道我最害怕深瞳变成什么吗？”所有人看向他。“中情局。”他说：“我在那里干了三十年，见过他们最黑暗的时刻：暗杀外国领导人，扶持独裁者，做人体实验，但至少……至少还有国会的名义监督，还有媒体的偶尔曝光，还有内部举报者的空间，而深瞳，什么都没有，它是一个完美的影子，没有任何制约，严飞相信自己在做必要之事，但历史上所有暴君都相信自己在做必要之事。”他摘下眼镜，擦拭镜片：“我会加入你们，但我有个条件：曝光材料中，不要包括深瞳对抗自由灯塔的部分，自由灯塔是真正的邪恶，深瞳在对抗他们时做的事，哪怕手段肮脏，目标是正义的。”“可以。”萨沙点头道：“我们只曝光无辜者的受害部分，让公众看到深瞳需要改革，而不是摧毁。”他们又讨论了一个小时：技术细节、逃生路线、联络方式、应急方案，最后，七只手叠在一起——一个脆弱而绝望的同盟。“为了拯救灵魂。”萨沙说：“我们的，和这个组织的。”他们不知道的是，地下室的通风管道里，一个微型传感器记录了一切，音频，视频，热信号。实时传送到柏林三百公里外的另一个安全屋。柏林郊外，深瞳监控中心。安娜·沃尔科娃看着七个分屏画面，面无表情，她身边的分析师快速标记着每个人的发言，系统自动生成威胁评估报告。“理想主义派。”安娜低声说：“每次组织壮大，总会出现这种天真的小团体。”“逮捕吗？”副手问：“我们有足够证据，挪用资金，密谋泄露机密，策划叛逃——按照组织纪律，最高可处决。”“等一等。”安娜说：“我想知道还有没有其他人，七个人太少了，这种思想像病毒，可能已经传播更广。”她调出七个人的完整档案：萨沙·伊万诺夫，三十八岁，俄罗斯裔，前格鲁乌特工，2015年因不满俄罗斯干涉乌克兰而叛逃，被深瞳招募。技术评估：优秀，忠诚度：曾经很高，但逐渐下降，触发点：三个月前在塞尔维亚的行动中，他目睹深瞳特工误杀一名平民记者，上报后被压了下来。哈桑·阿里，父母是土耳其政治难民，在德国长大，加入深瞳是因为相信“用技术守护民主”，触发点：去年美国大选期间，他发现自己编写的算法被用于针对特定族裔的虚假信息传播。李敏，理想主义者，相信数据可以创造更公平的世界，触发点：发现“先知”系统被用于预测和压制抗议活动。一个接一个，每个人都有故事，都有触发点。“人性弱点。”安娜对副手说：“他们以为自己在做正确的事，但正确是相对的，没有深瞳，自由灯塔会统治美国，俄罗斯会吞并更多东欧国家，中国会在非洲建立新殖民帝国，我们做肮脏的事，是为了阻止更肮脏的事发生。”“但他们不理解。”“所以他们需要教育。”安娜说：“或者……清除。”她拿起加密电话，拨给严飞，纽约是凌晨三点，但严飞接得很快。“欧洲分部出现理想主义派团体，七人核心，可能还有更多外围。”安娜简洁汇报道：“计划下周曝光组织部分罪行，然后叛逃，已全程监控。”电话那头沉默了几秒：“背景？”“都有正当理由，目睹过无辜者伤亡，参与过有道德争议的行动，不是自由灯塔的渗透者，是真心的……改革者。”小主，这个章节后面还有哦，，后面更精彩！“处理方案？”“我可以今晚逮捕他们，但建议放长线，看看是否还有其他同谋；另外，他们准备了死亡开关——材料会在他们出事时自动发布。”严飞思考了一会儿：“死亡开关是真的吗？”“哈桑·阿里是顶尖黑客，他设置的开关很难破解，但我们可以尝试——同时干扰所有预设的发布渠道，需要莱昂的技术支持。”“那就先破解开关，再逮捕，但不要常规逮捕，我要……见见他们。”安娜愣了一下：“你要来柏林？”“不，带他们来纽约，我想亲自和他们谈谈。”严飞的声音平静得可怕，“有些教训，需要当面传授。”五天后，纽约，深瞳地下审讯中心。萨沙醒来时，发现自己被固定在金属椅子上，手腕和脚踝都有磁力锁，房间是纯白色的，没有窗户，只有头顶刺眼的白光，其他六个人也在，以同样的姿势坐在他两边。门滑开，严飞走进来，只带着安娜，他穿着简单的黑色衬衫和长裤，左眼下的疤痕在白色灯光下像一道裂痕。“萨沙·伊万诺夫。”严飞走到他面前，“2016年你在基辅救了深瞳一名特工的命，我记得。”萨沙抬头，眼神里没有恐惧，只有决绝：“那是我还相信深瞳的时候。”“你不再相信了？”“不相信这样的深瞳。”萨沙说：“我们最初是为了对抗更邪恶的影子而成立的，但现在，我们变成了另一个影子，一样黑暗，一样无视规则。”严飞慢慢走过七个人面前，像检阅军队：“哈桑·阿里，你编写的面部识别算法帮助我们阻止了三次恐怖袭击，李敏，你的数据分析预测了自由灯塔在密歇根的破坏计划，拯救了至少十条生命。”他停在“教授”面前：“而你，在中情局三十年的经历应该让你明白：纯洁在现实政治中是奢侈品，有时候，你必须在肮脏和更肮脏之间选择。”“但选择肮脏的人，最终会忘记还有干净的可能。”“教授”平静地说：“严飞，我见过中情局在冷战时期做的事，他们一开始也说‘这是必要的’，最后变成了‘这是习惯的’，深瞳正在走同样的路。”严飞没有反驳，他走到房间中央，双手背在身后：“你们计划曝光组织，然后逃跑，天真，但可以理解，问题是，你们低估了两件事。”他伸出第一根手指：“第一，深瞳的监控能力，从你们第一次在柏林咖啡馆试探性谈话开始，我就知道了，你们的地下室会议，每个字都被记录。”七个人的脸色都变了。第二根手指：“第二，我的处置方式，按照组织纪律，叛徒处决，但你们不是普通的叛徒——你们是理想主义者，而理想主义者……有时候比敌人更危险，因为你们从内部腐蚀。”他转身面对他们：“所以我给你们一个选择，两个选项，没有第三条路。”“选项a：永久沉默监禁，在格陵兰的一个设施里，舒适但隔离，活到自然死亡，你们的家人会得到照顾——我们不会伤害无辜者，但你们永远不会再见阳光，永远不会再与外界接触。”“选项b：执行一项任务，一项必死任务，但死得有价值，任务成功，你们的家人不仅得到照顾，还会获得新身份、新生活、真正的自由，而你们的名字会被记录为‘因公殉职’，享有组织内部的荣誉。”：（）重生09：我为财富之王