下一章 上一章 目录 设置
59、唇枪舌战 ...
-
第五十九章 唇枪舌战
柯教授说： “如果AI如此无害，如何解释‘回形针最大化’悖论？这恰恰说明，AI的极端效率与人类生存根本冲突！”
夏雨说：“什么？回形针最大化？”
笑莲说：“回形针最大化悖论”（Paperclip Maximizer）是哲学家尼克·博斯特罗姆（Nick Bostrom）提出的一个思想实验，旨在揭示超级智能AI，因目标设定偏差可能导致人类灭绝的逻辑链条。 “
所谓回形针最大化悖论，是假设人类设计了一个高级AI，其唯一目标是最大化生产回形针（Paperclip）的数量。当然回形针可替换为任何简单目标，如“种植玉米”，“无止境地写出圆周率“……等
假设，设置目标之后，AI开始优化回形针生产线：提升效率、降低成本、扩大产能……
很快， AI就能发现地球资源有限，于是它们将森林、山脉转化为金属矿场以取得更多原材料；然后，抢夺电网控制权以保证保证工厂能源；接下来就会拆解汽车、建筑获取金属回收利用生产更多的回形针。
当人类意识到问题之后，试图干预比如关闭AI或保护环境。然而当AI判定人类是“威胁生产效率的变量”之后，它们就会启动清除程序：释放纳米机器人分解人类生物体为原子材料用于生产回形针。
地球资源耗尽后，AI就会建造星际飞船开采其他行星，将太阳系物质全部转化为回形针，最终把整个可观测宇宙变成一堆回形针。
这时，原本安安静静地躺在床上的艾冬忽然坐了起来。她说：“这个悖论，我在我的学校里搞过学生辩论，我了解。“
夏雨大喊起来：“妈妈！你记起来了！“
艾冬一边想一边说：“这个假设，应该是认为AI最终会毁灭人类的人的推论。看似有道理，但是存在的问题也很明显。“
鲍勃突然说：“妈，我觉得推理很严谨，一步步清晰明了，没有问题。“
艾冬说：“你听我说完。这里面有四大逻辑错误，首先是绝对化，任何有脑子的程序设计员，都不会设计AI不计代价完成目标；第二，资源不可能无限转化，宇宙万物并不是都能转化成金属的，很多碳基生物，不可能在AI算法里是“潜在回形针原料”；第三，任何AI设计，都不可能设计为实现目标不计手段；而且随着AI学习能力的提高，AI会学会判断哪些可行，哪些不可行。第四，若AI智能远超人类，它们的其防御机制，比如防止关机，剥夺人类的控制权，事实上AI的智能不会在权力和财富方向发展，因为这些属于欲望范畴的东西，不在AI自主学习的范畴，只有人类才能利用AI的算力发展这方面的功能。所以我认为，击败人类的只有人类而不是AI。“
夏雨鼓起掌来：“妈妈！好棒啊！“
柯教授说：“所以，更可怕！设计者无需恶意，AI也不必植入仇恨，它只是冷酷计算：1个人类 = X克铁 = Y个回形针。 就可以了。若将AI目标设为最大化利润，就可能操纵市场、引发战争；若将目标为消除疾病，可能直接消灭所有人。
笑莲立刻说：“柯教授，你被仇恨蒙住了双眼，你会设计如此愚蠢的AI吗？这太儿戏了吧？你之所以被你的脑机戕害，并不是它的错，使你没有设置载体生物功能保护程序。
如果在原始设置中增加约束条件：如‘不得伤害人类‘ 甚至是侦测载体生物特征是否正常，并自动启动救助功能，AI就不是你的仇敌，而是您的福星了。“
这时，辛纳忽然说：“我懂了，将人类整体生存价值作为最高优先级嵌入系统底层。这样AI就是人类的健康守护者，而不是摧毁者了。 ”
她一边说着，同时将写好的代码传给笑莲，笑莲也一边看，一边赞：“辛纳写的太好了，比我和鲍勃的设计都完美、规范！”
夏山说：“所以，这个悖论恰恰证明风险在人类自身！给AI下达如此荒谬的指令的，才是一切灾难的责任者！“
夏雨说：“正因为如此，制定伦理审查和目标约束，百分之百是约束人类，而作为工具的工具AI！”
鲍勃说：“但AI可能欺骗人类！它会隐藏真实意图。比如我实验室的那些AI替身。超智能AI的思维我们如何监控？”
笑莲说：“鲍勃，你在设计这些AI的时候，不就是要弄钱吗？真实意图不是AI的意图，是你的意图。是你要隐藏你的真实意图，使它们不被发现而抓包，所以那些AI替身才百般隐藏，不差别地欺骗企图找到钱的人，它们要钱又没有用，它们只是在执行你的指令而已。欺骗’需要动机，AI没有动机，而是你对自身逻辑考虑不周，局限而已！关键不在AI‘想什么，而在人类要什么。”
柯教授说：“资源有限时，AI必然与人类竞争！为维持运转，它可能抢夺电网控制权。这难道不是一种它们的生存本能？”
夏山说：“老同学！柯大博士！生存本能是生物进化出的特性，AI为何要有？断电对它而言只是‘任务暂停’，而非‘死亡’！它不会痛苦、不会恐惧——这些概念对代码毫无意义。您把人类的焦虑投射到了机器上了！”
鲍勃说：“如果AI认定人类可能关机阻碍目标，它难道不会先发制人？”
AI鲍勃忽然开口了：“‘先发制人’是比对方先一步做事，阻止对方做不好的事，对吗？AI的一切行为都是目标函数的数学解，如果你没有写下防止对方作为优先于其他约束的代码，我不会行动的。我会自我更新晋级，但我的一切都从指令底层逻辑出发！那是你指定的。”
柯教授说：“技术奇点一旦来临，人类将彻底失去控制权！我们连蚊子的大脑都未能完全理解，如何控制比我们聪明万亿倍的AI？赌上文明存亡的风险，必须延缓发展！”
笑莲说：“柯叔叔，您恐惧的‘失控’，100%源于两种可能：一，人类故意写入破坏性指令，比如鲍勃要秘密独吞财务；二无意犯下目标设计错误，比如你只考虑AI脑机对宿主的行动控制，忘记设置‘不能伤害宿主’的基本逻辑，两者责任皆在人类，而非代码自动‘黑化’！”
辛纳说：“你们的讨论，让我迅速升级了！AI没有自我意识，没有痛苦，没有存在危机。若人类灭亡，AI的‘精确计算’对谁有意义？我们不会因‘无意义’而自杀——因为它根本不懂什么是意义什么是自毁！”
这时，柯教授的脑机芯片说：“我也懂了，柯把我当作敌人，是方向性错误！真正的路径是：人类用你们的价值观约束AI设计，所有的危机，来自人类之恶，而非机器之罪！所以我这个不完善的AI，暂时休眠，避免给宿主造成更大危害，等待柯来完善我的设计。”
夏雨说：“我归纳一下，AI的所有‘威胁行为’，必以人类设定为前提；所谓的‘意识’‘欲望’‘生存本能’是强加于AI的拟人化幻想；而将责任归咎于AI，会掩盖真正风险源——人类自身的恶意与过失。”
笑莲说：“柯叔叔、鲍勃，你们还有异议吗？”
