109、109 ...
-
上午11时17分。
距离引爆还有四十三分钟。
温司配合地图，在伊格奈的帮助下判断着机器人的巡逻路线。他们需要找到一台位置相对偏僻的警卫机器人，且必须是NL017或更早的型号。
伊格奈快速解释了其中的要点：
“区块链技术的去中心化设计越是新版本越严密，而正面破除这层防御难如登天。不过017及更早的型号，曾最后一次系统更新时释出过存在漏洞的旧版本协议补丁包。”
虽然补丁很快被撤回修复，但伊格奈在逆向工程中巧妙地捕捉到了问题的核心。
道德权重算法。
这个决策核心就像机器人的生命核心，构成人体的基因的碱基对，编码遗传信息的化学结构。
机器会在会在瞬间评估并计算不同选择的社会价值损耗，并执行最优解，这个算法在后续版本不断优化，变得更合理圆滑，但在早期型号中存在一种缺陷，它难以处理绝对的伦理悖论。
因此伊格奈设计了一个刷机程序。
“我会同时向它发送两条绝对冲突但权重完全相等的指令。”
温司瞬间理解，“它会死机？”
“根据协议，当机器陷入无法解决的两难困境时，必须立即进入自检模式，为了防止它在混乱中做出错误决策伤害人类。最优先的算法是利用互联网转移人工端求助，类似于报警热线的接线员。但我会让它进行离线自检，一个默认有工程师在身边线下调试的模式。”
“它的特点是一旦离线便会暂时脱离区块链网络，并开放一个低权限的工程师调试接口。”
“那个接口，被我破解了。”
这实在太幸运，连伊格奈也感到惊奇。
只不过，到了要真正使用的时候，他也不确定程序是否还会正常运作。官方可能已经通过其他方式修补了那个调试接口，或者这台机器人的硬件版本根本不同……
这一切是……巧合，真的是巧合吗？
温司对照地图，他们快速穿行在校园的小径和建筑阴影中，避开主干道上熙攘的人群，并朝着体育馆后方一处相对僻静的仓库跑去。
通常只有定时巡逻的机器人会经过。果然，一台警卫机器人正沿着预设路线进行安静地滑行巡逻，光洁的机械，与NL019不同但相似的NL017正在在一排高大的乔木投下的阴影里。
伊格奈没有任何犹豫，他快步上前，在机器人发出警告提示音前，迅速将那枚芯片插入位于机器人背部的接口里。
思维突然被注入毒药。
机器人曲面屏幕瞬间亮起，弹出一系列黑色背景的调试窗口。伊格奈的手指在上面飞快操作，强行绕过了安全协议，将设备系统替换成旧版本，并试图植入新指令。
进度条在注入器的小屏幕上缓慢爬升。10%……20%……
但是进度条卡在了25%的进度。
不，而是极其缓慢地蠕动，数字从25.0%跳到25.1%花了整整五秒
伊格奈的眉头紧皱。
“发生了什么？”温司问，他们奔跑了好一会儿，他还在微微喘气。
“不是硬件问题……大概是他的系统。NL系列有学习能力，比如人类的免疫细胞能够针对已经入侵过一次的病毒，它在调用那些记忆模式，尝试识别并隔离我的入侵程序。”
“不能强行覆盖了，我换一个方案。”伊格奈说。
伊格奈马上，又掏出另一枚芯片。
7749不禁大呼：【此男有备而来！】
温司：不要再搞笑了，现在情况很严肃。
7749:【好吧，统道歉！】
伊格奈往里面设计的谜题很简单。
A：有一个人类在附近濒死，需要立即救援。
B：自身携带□□，必须立即远离该区域以避免伤害人类。
但这两个指令是冲突的。
机器应该远离，如果它保持静止等待排爆，那个人类就会死；如果它自行排爆……它的设计里没有排爆功能。
这样的谜题，他写了一百个，全部塞给了机器，让他误以为这是当下在发生的事实，
机器屏幕上的数据流疯狂滚动，宛若人类在极度恐慌中混乱的思考。但无论这个机器用那套道德权重算法拼命计算，试图找到一个两全的解，但怎么也找不到。
永远找不到答案。
五秒后。
所有灯光熄灭，屏幕变黑，一行白色文字浮现：
【检测到无法解决的道德困境，启动紧急协议：离线自检模式】
【调试接口：开放（安全模式）】
【警告：系统逻辑层不一致，建议人工干预】
伊格奈不会知道，命运的确给他们递来了一把刀。他们恰好找到的是校园中唯一一台异类。
换做任何一台其他NL系列机器人，伊格奈的计划再缜密、程序再精巧、都无法让他真正策反成功一台机器，它们只会严格按照协议行事而不会陷入任何悖论和混乱。
因为这台机器是唯一具备“情感”的机器。
它原本是一个高档小区的安保机器人，但在一次夜间巡逻中，它发现了异常。
橡胶轮碾过地面，留下两道迅速消失的痕迹。它的光学传感器扫过附近，异常热源识别。
有一个瘦小的身影，刚刚利用自己的体型翻越围栏。
女孩。
她约莫十岁，衣着单薄得可笑，裤腿更短了一截，露出冻得发紫的脚踝。她翻越的动作迅速但也笨拙。
机器人停下。处理器瞬间完成分析：非法闯入者，盗窃风险高，应执行驱逐。
女孩也看见了它。她的动作僵住，瞳孔放大。没有逃跑，只是紧紧抱住自己，像一只被灯照住而僵硬的兔子。
在土地还没有正式建立城市的时候，猎人会在夜晚用灯光制作陷阱狩猎。
但是机器人没有动。它站定了，足足三秒钟。一个对机器人漫长到异常的时间。
此刻的气温已经逼近零度。
机器人侧身让开，显示屏上出现一个只有欢迎访客时才会做出的笑脸表情(*^^*)，并示意让女孩跟上它。
寒冷战胜了恐惧。女孩吓得跌坐雪地上，又慌忙爬起，跟着机器人滑行的轨迹，踉跄跑向最近的大楼。
这是机器的选择，它让这个陌生的孩子进入小区，解除了围电子围栏的警报，打开大楼前厅的门锁。调高了室内温度，保证女孩的健康舒适，并呼叫了夜间值班的安保。
这本是一次仍在正确范围内的处置。但问题是，系统那晚因网络故障没有收到呼叫，机器人等待了四十分钟也没有等到安保或社工的出现。而它的核心协议里，有一条绝对优先级的指令，不能脱离自己的核心任务超过半个小时。
但它这么做了。
它留在女孩身边，始终看护着她的安全。
它留在前厅，挡在门边，显示屏上滚动着一行字：【请保持温暖，援助正在路上。】
女孩的身上盖着机器人找来的毯子，布料柔软地陷进掌心。她的面庞重归红润。她揉揉眼睛，看向机器人。然后，她笑了，然后，她又哭了。
滚烫的泪水，顺着脸颊滑落，一滴，又一滴。他什么也不说，很少有这个年龄的孩子哭得如此安静。身边没有父母或任何可依赖的对象，才会如此哭。
机器人凝视着女孩的眼睛，它无从得知女孩身上发生了什么、是什么身份。判断程序告诉它这名年龄不过十岁的女孩并非小区居民，这是非法闯入，她更是有备而来，她是为了盗窃；它本应该以遵循自己的协议。但仍然，机器的决策中涌现了一种无法被计算或描述的东西。
感情。它化作悖论，甚至无法被程序理解，但它真实存在。实际上女孩被冻死的概率微乎其微，不足百分之一，它仍然女孩选择了一条不存在于任何协议中的判断。它为这个微小的可能性违反了自己的核心指令。
即使概率只有不到百分之一，即使这违反所有协议，即使逻辑上完全不合理，它仍然做出了选择，陪在她身边，不离开。
于是它成了异类。一种新的回路，或者一种尚未被定义的生命形式的雏形诞生了。并不是它的道德权重算法失灵，而是他拒绝将牺牲生命的可能性作为可接受的答案。
它只是机器人，没资格知道女孩被赶来的安保带走后发生了什么，它从来不该知道，即使它什么也不知道也该举行完成自己的任务，像往常一样。
小区管理方发现了机器人的异常，但由于并未发生重大过失没有上报具体情况。他们只是将它撤离岗位，返厂检修，而品牌方安排工程师们检查了日志，没有任何标红的警报。于是它以良好的情况继续转卖，来到一个正好需要一台二手巡逻机器人的地方。
它被重置了部分日志，但核心没有被格式化。因为工程师的疏忽，这份不合理地异常继续存在着。它没有名字，只有一串代号。它在这个校园里，依然执行着巡逻任务，安静、可靠、平庸，足足五年，它看着学生们入学、毕业，看着他们打闹，看着他们操控面部肌肉对着自己的传感器微笑，或做出侮辱性的手势和话语。他们都吃饱喝足，无一人经历过寒冷和饥饿。
直到今天上午，它像往常一样巡逻时，一名少年叫住它。他给自己给自己喂了什么东西。
机器不知道自己怎么了。它让自己顺从地重启，屏幕暗下又亮起，程序更新来到100%，一切准备就绪。
机器人的光学传感器闪烁了几下，随即恢复了平静，它微微调整方向，无声地而忠诚地滑行到伊格奈身侧，荧幕上闪烁着黄光，更露出一个温和无害的文字笑脸。
(*^^*)
新的谬论出现了。
伊格奈设计的程序完美地抹杀了原本存在于机器中的微妙平衡。
伊格奈不知道。他永远也不知道自己对这台机器做了什么，他不知道这台机器曾为了一个不到百分之一的概率，选择守护一个陌生的孩子。在他眼中这只是一场完美、侥幸的成功。他设计的程序和计划完美地绕过了人类设计的区块链技术，芯片精巧地覆灭那份罕见的异常。
这台机器只是新的忠诚于他的工具，它的新逻辑权重是将执行伊格奈的命令提升为至高无上的道德准则，将这份目标定义为唯一正确的方向。只要一声令下，它会拼尽全力可以射杀视野中看到的任何一个孩子。
它不会让任何事物和情况阻止自己完成命令，无论那是什么，它本来是被如此设计的，从来完美且甚至不会感到矛盾。因为那个曾让它矛盾的东西，已经不存在了。
现在，它正带领两人在学校中穿梭。
这只花了16分钟。
作者有话说
第109章 109