袁艺

当前，信息化战争形态正由“数字化+网络化”的初级阶段，向“智能化+类人化”的高级阶段加速演进，以战斗机器人为典型代表的智能武器将主宰未来战场。我国著名人工智能专家李德毅院士，把智能机器人比作是集汽车、新能源、移动通信、卫星定位导航、移动互联网、云计算、大数据，乃至人文艺术等多个学科、多种技术于一身的人造精灵，是人类走向智慧生活的重要伴侣。依此类推，未来的战斗机器人则可视为将军们麾下无惧死亡、勇往直前的人造忠诚战士。

正如聪明的孩子往往更加调皮和不听话一样，武器智能化一旦超过一定程度，“聪明过了头”，就会存在自作主张、失去控制，甚至危及人类自身安全的危险。人类面临着既要利用武器高度智能化带来的可以替人打仗的无比好处，又要回避武器高度智能化带来的巨大失控风险，军事技术和武器发展由此陷入一个两难困境。

智能武器的失控风险

据称“Robot”（机器人）一词，是由捷克作家卡雷尔·恰佩克在1921年的科幻作品《罗萨姆的机器人万能公司》中首创，原意是“农奴式被强迫的劳动者”，用来称呼那些造反的机器仆人。可以说，从一开始，机器人失控对人类的威胁，就成为人类心中挥之不去的心理阴影。

人类对机器人失控的担心，不仅反映在科幻小说和影视作品中，还反映在很多学者严肃认真的学术探讨中。《机器人战争——机器人技术革命与21世纪的战争》的作者彼得·W·辛格就认为，机器人控制世界需要四个基本条件：第一，机器人必须独立，能够不依赖人类而自我补充能量、修复和再造；第二，机器人必须在智力上胜过人类，但不具有人类好的品质（如同情心或道德观念）；第三，机器人必须具有生存本能，以及控制其周围环境的某种兴趣和意志；第四，人类必须不能有介入机器人决策的有效控制界面，人类必须没有能力决定、干涉，甚至影响机器人的决策与行动。从发展趋势来看，这四个基本条件在技术上都没有不可逾越的红线。因此，从理论上讲，如果不采取有效措施，智能武器失控是完全有可能的。

与民用机器人相比，军用机器人失控的危害性更大，有人甚至担心，军用机器人会不会成为“人类终结者”。这一担心，不是杞人忧天，更不是天方夜谭。人是万物之灵，灵就灵在“有脑子”。人之所以能控制老虎，不是人比老虎强壮，而是人比老虎聪明。机器人的体能、技能超过人类并不可怕，但如果机器人的智能超过人类，人类还能不能控制这种比人类还“聪明”的机器人，那就不好说了。

智能武器失控的可能形式

不同自主程度的智能武器失控的形式是不一样的，造成的危害也不尽相同。大致分析，智能武器失控的情况可能主要有以下几种。

智能武器因发生故障而失控。在民用机器人方面，因机器人故障而出人命的事早有发生。1985年，苏联发生了一起家喻户晓的智能机器人棋手杀人事件。全苏国际象棋冠军古德柯夫同机器人棋手下棋连胜3局，机器人棋手突然向金属棋盘释放强大的电流，在众目睽睽之下将这位国际大师击倒，这应该是智能机器人发生故障导致的。

随着机械制造水平和智能化程度的提高，未来智能武器出现机械故障的可能性减小，但出现软件故障的可能性大增。

武器系统因软件故障而导致的事故并不鲜见。2005年，美国空军几架战斗机在一次编队飞行时，一架战斗机突然自动向地面重要设施发射了一枚导弹，并造成严重事故。经查明，事故原因是飞机的火控系统电脑出了故障。2011年，在美军几次军演和值勤过程中，三军通用战场态势分析系统多次发生软件故障不能正常工作，出现黑屏、无法显示友军信息、无法完成态势合成，甚至出现运行中断、死机等故障，导致战场态势无法及时更新、融合，作战打击方案无法按时生成。

智能武器受到复杂电磁环境干扰而失控。据一名刚从伊拉克归来的美军军士描述，他的“魔爪”机器人如果受到无线电干扰，就会出现“行为异常”。另一名军士讲述，如果他的机器人没有信号，就会“变得古怪”。按理说，如果由于某种原因使得信号受到干扰或被中断，机器人应该停止行动才对。当追问军士“古怪”究竟是什么意思，他回答说：“它会偏离道路，冲你而来，四面旋转等等。”未来战争中，战场电磁环境只会变得越来越复杂，智能武器能不能适应复杂电磁环境，能不能在强烈电子干扰条件下，实时接收人类指令并精准执行作战任务，这都需要经过大量的试验和实战检验后才能得出结论。

智能武器也可能因为判断失误而出现失控。战场上的敌我识别不仅对于人类士兵来说是件难事，对于智能武器来说同样也不好解决。美国军方一位机器人项目负责人说：“机器人战士可以发现一个人并确定他的位置，然后杀死他。但问题是，怎样才能不误伤自己人。对于人类来说，区分敌人和自己都很难，更何况机器人。”

事实上，人工智能控制的武器由于判断失误，已经造成巨大惨案。1988年7月3日的波斯湾，美国海军“文森尼斯”号巡洋舰正在海上游弋执行巡逻任务。该舰因装备了自动化程度极高的新型“宙斯盾”防空系统，绰号为“机器人巡洋舰”。这时，该舰突然发现一架伊朗民航的A300客机将飞过上空。虽然舰上防空系统处于半自动模式，但电脑系统将客机识别为伊朗空军的F-14战斗机，结果舰长授权开火，发射“标准”防空导弹击落了客机，造成机上290人全部遇难，包括60多名12岁以下的儿童。

智能武器因无限自我繁殖而失控。自我繁殖可能是未来纳米级智能武器的一种高级功能。纳米机器人借助阳光、尘土、海水等物质和能量，可像细菌一样自我繁殖。杀不绝的纳米机器人军团自然是威力无穷，但一旦失去控制，后果也是不堪设想的。据专家估计，一个失去控制的正在自我复制的纳米机器人，完成130个复制周期只需要3个半小时，考虑到纳米机器人向外移动扩张等因素，最多只需数周时间就可以摧毁地球上的一切生物。

智能武器因具备独立意识反叛人类而失控。从目前来看，普通电脑的运算结果仍然是明确和可以预见的，因而是可控的，但未来随着人工智能水平的持续提高，特别是具备自学习和自进化能力后，电脑的“智商”不断提高，极可能出现类似人类“思想”的高级思维活动，以及只有人类才具备的喜怒哀乐、自我认同、妒忌羡慕、征服欲望等复杂情感。那么，运算结果就可能是不确定和不可预测的，正是这种随机的不确定性思维，潜伏着机器人威胁人类安全的危险因素。这就是未来高级智能武器可能失控的内在技术原理。目前，科学家正在制造可以产生类似人类无意识反应的机器人，机器人在紧张时会出汗，听到恐怖故事时甚至会起鸡皮疙瘩，这或许是机器人迈向具备人类思想意识的第一步。

应对智能武器失控的措施

未来高度智能化的机器，可能为人类带来巨大福祉，也可能为人类带来灭顶之灾，人类即将进入历史上可能最好也可能最坏的时代。对于高度智能化的武器会不会成为“人类终结者”，人们或许还存在分歧，但对于必须采取各种措施限制和避免智能武器滥用武力这一点，各方意见高度一致。

著名科幻小说家艾萨克·阿西莫夫1940年在其经典小说《我，机器人》中，首先提出了“机器人三原则”，即：机器人不应伤害人类；机器人必须听从人类的命令，除非该命令与第一定律相悖；机器人必须保护自己，除非这种保护与以上两条相矛盾。“机器人三原则”虽然有预见性地制定了机器人与人类相处的基本准则，但主要适应于民用的服务型机器人，如果应用到战斗机器人身上，还需要做很大的修改才能适应。例如，战斗机器人应该在达成作战目的的前提下，以最小伤害程度杀伤敌人，能不夺人性命解决问题就不要使用致命性武器；战斗机器人必须坚决听从己方指令去消灭敌人，不能听从敌方指令，或受外部环境干扰而改变己方指令；战斗机器人必须保护自己，但接到己方要求其自毁指令时除外。为努力做到上述几点，始终把智能武器关在人类“控制圈”内，研究人员还真想出了不少点子。

首要和保底的手段，就是在智能武器中嵌入独立于其自身控制系统的自毁模块。在智能武器走出生产线即将正式启动之前，就要设置好这种“后门”式的自毁模块。一旦智能武器失去控制，人类可以不受外部环境或智能武器自身干扰，实时启动自毁程序，实现智能武器不可逆转的彻底死机或主机殉爆。这一办法，对于“低智商”的智能武器是可行的。将来一旦出现更加“聪明”的智能武器，能够“意识”到这一自毁模块的存在，它可能就会想方设法地去除或干扰自毁模块，因此必须确保自毁模块的隐蔽性和可靠性。

在智能武器控制软件中加入伦理控制程序。智能武器的指挥控制中枢是电脑，而电脑的“智商”全靠预编软件来实现，在智能武器控制软件中加入伦理控制程序来限制智能武器的行为，从理论上讲，可以避免其“胡来”。美国佐治亚理工学院移动机器人实验室的罗纳德·阿金，设计了名为“潜在行动的多维数学决策空间”的控制程序，作为战斗机器人的“道德适配器”。这套融合了人类悔恨、同情、内疚等情绪的控制程序，将机器人携带的武器系统根据杀伤力分组，每组武器都有特定的愧疚临界值。“道德适配器”可根据传感器接收到的数据和情报，把机器人所有可能的行动分为“道德的”和“不道德的”两种，并根据需要选择适当的武器系统。机器人在使用大威力武器前，必须经过“道德适配器”的审核，只有当使用武器的愧疚临界值低于标准值才可使用。

精确选择智能武器的目标打击部位。2006年，美国国防部长办公室下属机构——国防安全工作小组，研究讨论了如何通过允许“武装自主系统”“开火摧毁敌方武器系统而非疑似作战人员”的做法，以减轻人们对潜在“机器人杀手”的种种担忧。换言之，机器人应该朝坦克或吉普车开火，而不是朝里面的人开火。约翰·S·坎宁是美国海军水面作战中心的首席工程师，也是该小组成员之一。他说：“我们的武装无人系统的设计，要能自动识别、瞄准我们的敌人所用的武器，并能使武器而不是使用这些武器的敌人失效或者遭到摧毁。这样，我们就有可能解除对我们构成威胁的部队的武装，却不必杀死相关人员。”随着人工智能的发展，电脑的模式识别能力将有极大提高，智能武器完全可以把单独的武器和作战人员区分开来。

只给智能武器配备非致命性武器，把杀人武器交到机器人手中始终让人不放心，因此有人认为，如果要给机器人配备武器，那也应该配备非致命性武器。这些武器不是用来摧毁或者杀戮，而是用来让目标失去战斗力但并不对其造成永久性伤害。正如美国陆军战争学院教授史蒂文·梅茨所讲的那样，“机器人技术和非杀伤性手段，这两者的结合极其重要。这样，你可以命令系统只是制服目标，剩下的事情交给警察，而不是‘将目标全部杀死，后事交由上帝处理。”这一办法应该说是完全可行的，未来战争中失能性武器的可选择范围很大，对人员可使用“脑控武器”“呕吐射线”武器、次生波武器、被称为“痛苦射线”的定向能“主动拒止系统”、网罩武器，甚至发射橡皮子弹的警用武器等非致命性武器，对装备可使用电磁脉冲武器、网络攻击武器、高功率微波武器、致发动机熄火的阻燃泡沫弹等非爆炸性武器。从某种意义上说，新机理、新概念武器为智能武器的失控问题提供了很好的解决方案。