李少鹏

内容提要：随着人工智能技术在军事领域的深度应用，人工智能武器既给人类带来新的安全威胁，也对现有国际法体系带来严重冲击。必须准确把握人工智能武器的基本概念，着眼于现有国际法规则及其基本原则，建立对人工智能武器的合法性审查机制，明晰人工智能武器应用的法律责任，以解决人工智能武器应用的法律困境。

随着人工智能技术在军事领域的深度运用，人工智能武器或将打破核武器时代大国之间通过核威慑和共同毁灭原则建立的安全平衡，成为改变国际政治格局的新型战略武器。但人工智能武器尤其是杀伤性自主武器系统既给人类带来新的安全威胁，也对现有国际法体系带来严重冲击，尤其是解决人工智能武器的合法性审查及其违法行为所引起的法律责任承担问题，已成为国际法领域无法回避的重大课题。

一、人工智能武器基本概念

人工智能武器，又称自主武器系统；它是指“任何在关键功能上具有自主性的武器系统。即无须人类干预就能独立选定目标并发起攻击的武器系统。”①红十字国际委员会：《关于自主武器系统的观点》。https://www.icrc.org/zh/document/views-icrc-autonomousweapon-system, 2017-04-11/2019-08-24。与传统武器相比，人工智能武器的运行指令是预先设定的，一旦启动便可根据人类的预先授权自行选定目标并完成进攻，整个过程脱离人的直接控制和参与。自主性，是人工智能武器区别于传统武器的根本特性。

传统武器在使用时需要人来完成目标观察，同时对有效信息作出评估判断、最终决定并实施攻击，人直接参与并绝对控制武器使用时的每一个环节，即便目前已经实现高度自动化的武器，仍需要人来直接操作锁定目标并开火。与传统武器相比，人工智能武器的运行指令是预先设定的，一旦启动便可根据预定程序自行选定目标和线路完成进攻，具有高度的自主性，从选定目标到发起攻击的整个过程脱离人的直接控制和参与。

需要注意的是，人工智能武器的自主性并不等于人工智能武器的完全人格化。至少在现行的国际法理论研究框架下，人工智能武器的自主决策范围仍受制于人类的指令设定，因而人工智能武器仍应被视作人类工具的延伸，而无法赋予其独立的法律人格。

二、人工智能武器合法性审查

人工智能武器，可以极大地改变现有战争格局，但若要取得国际法认可的合法武器地位，其首先必须通过新型武器合法性审查，确保其符合国际法框架下的武器使用准则，才能将人工智能武器真正合法地投入战场使用。

（一）人工智能武器审查的法律依据

《日内瓦公约第一附加议定书》第36条规定：“在研究、发展、使用新武器时，缔约一方有义务确定，该新武器的使用是否被本议定书或任何其他国际法规则所禁止。”该条款明确了审查新武器的责任主体为各缔约国，为各缔约国审查本国人工智能武器提供了重要的国际法依据。

人工智能武器的审查内容，涉及军事、法律、环境和健康等诸多领域和方向，其合法性评估标准也应当建立在符合通用国际条约、惯例的基础之上，尤其是要遵守国际人道法确定的区分原则和比例原则——这在日内瓦四公约及其附加议定书中，重点体现为保护平民免受武器杀害及保护战斗员免受不必要痛苦。

（二）人工智能武器合法性审查之区分原则

根据区分原则，攻击只能针对军事目标，禁止不分皂白的攻击。“平民居民本身以及平民个人，不应当成为攻击的对象”“就物体而言，军事目标只限于由于其性质、位置、目的或用途对军事行动有实际贡献，而且在当时情况下其全部或部分毁坏、缴获或失去效用提供明确的军事利益的物体”。①《日内瓦公约第一附加议定书》第51条、52条。如果人工智能武器无法针对某一特定军事目标实施打击，则将被认为不具有区分合法目标和非法目标的能力。

评估人工智能武器应当考虑的因素，包括军事目标是否可以准确筛选、定位追踪，使用的武器弹药是否合理覆盖目标所在区域，目标打击是否在合理攻击范围等等。如果某人工智能武器在其研发阶段就无法通过程序设定来有效区别平民与战斗员、军用物体与民用物体，则该武器应被禁止通过审查。

（三）人工智能武器合法性审查之比例原则

比例原则，要求冲突国在战争中为取得军事优势同时能尽量降低军事行动的附带损害。若某人工智能武器的使用势必会造成战斗员过分伤害和不必要的痛苦，那么，该武器应当被禁止。②参见《日内瓦公约第一附加议定书》第35条第1、2款：“在任何武装冲突中，冲突各方选择作战方法和手段的权利，不是无限制的。禁止使用属于引起过分伤害和不必要痛苦的性质的武器、投射体和物质及作战方法。”《日内瓦公约第一附加议定书》第35条第1、2款还规定：“为了取得同样的军事利益有可能在几个军事目标之间进行选择时，选定的目标应是预计对平民生命和民用物体造成危险最小的目标。”

比例原则，要求人工智能武器审查应当至少考虑以下3个方面：一是武器所造成的伤害或痛苦是否出于合法的军事目的；二是冲突一方为实现军事优势配置的作战力量适当，不会对敌方战斗员造成过分伤害和不必要的痛苦、对平民和民用财产造成过分的附带损害；三是应用人工智能武器时，应当采取合理可行的预防措施尽一切可能确认被攻击目标的合法性。

三、人工智能武器应用的法律责任

（一）人工智能武器应用的法律责任困境

人工智能武器，通过新型武器的合法性审查后，我们至少可以认为其技术本身并不会主动违反武装冲突法规则。然而，战争环境混乱复杂，人工智能武器接受的预设指令并不能涵盖全部的战场可能性，在模拟实验环境中通过审查的人工智能武器在实际战场环境中，也可能会发生错误判断及行为后果。

由此，我们不得不面对一个新的法律困境：如果人工智能武器发起了错误攻击，谁应当为人工智能武器自主决策的攻击行为负责？显然，我们不能要求不具备人类理性、理解力、判断力和道德感的机器，去承担违反国际法规则的战争后果。

（二）界定人工智能武器应用的责任范畴

虽然我们不能将遵守武装冲突规则的义务加诸于人工智能武器，但是，如果参战方在军事行动中因使用人工智能武器并借此获得了具体、直接的军事行动利益，那么，使用人就应当意识到并尽量避免人工智能武器所可能导致的过分附带伤害。因此，人工智能武器在使用时必须具备可预测性并被保留必要的人类监督——人工智能武器开发者或使用者应做到穷尽其理性避免人工智能武器在预设程序之外可能做出的违法行为，并对人工智能武器尽可能保留有效的或适当的人类干预，而人工智能武器应用的法律困境，也因具备必要的人类干预和可归责主体而界定责任的范畴。

1.国家责任

当前，国际社会正在积极讨论将杀伤性自主武器系统纳入《特定常规武器公约》规制范畴。可以预见，在国际公约的约束下，各缔约国必将对本国管辖的人工智能武器的开发、部署行为负责。“在武装冲突中部署任何武器，其责任在于各国。各国必须根据适用国际法，确保对国家武装部队在武装冲突中所用任何武器系统的致命行动问责。应进一步考虑使用致命武力的人的因素。”①CCW. GGE:《联合国致命性自主武器专家组2017年度报告》。http://www.sohu.com/a/228258611_358040,2018-04-14 / 2019-08-24。

各缔约国应制定完善的人工智能武器审查的程序、规则，尤其应建立武器模拟测试和评价标准、方法、方案的透明审查机制；未经实验或未经充分模拟测试不得通过人工智能武器合法性审查，不应为追求人工智能武器更高的自主性能放弃、牺牲任何必要的人类干预或风险缓解设计机制。根据国家责任法，凡是未遵守国际法的相关规则开发、使用或转让人工智能武器及人工智能武器技术的国家，必须承担违反国际人道法行为的后果。

2.指挥官责任

目前，国际刑事司法实践并不承认间接故意犯罪以及不作为犯罪，追究个人责任仍以行为人实施犯罪为前提。尽管如此，依据《日内瓦公约第一附加议定书》第35条第1款“在任何武装冲突中，冲突各方选择作战方法和手段的权利，不是无限制的”，笔者认为，冲突各方虽然有选择其各自作战方法的权利，但如果冲突一方因其使用人工智能武器而获取更大军事利益，应当为其受益行为承担更大的法律风险。

下达使用人工智能武器命令的指挥官，应当预见到使用该武器可能带来的风险，并为可能违反国际人道法的行为承担刑事责任。指挥官在下达使用人工智能武器的命令时，应当事先对人工智能武器性能、攻击目标类型、运行环境、适应能力、可靠程度有充分的了解，对人工智能武器在战场上能够遵守武装冲突法规有充分把握。如果“明知其无法准确预测某一自主武器系统的性能和效果时仍然决定部署”① 红十字国际委员会：《关于自主武器系统的观点》。https://www.icrc.org/zh/document/views-icrc-autonomousweapon-system, 2017-04-11/2019-08-24。，指挥官便应当具备可归责性而承担个人责任。

3.操作人员责任

追究操作人员的个人责任的关键，在于全程记录人工智能武器系统的各项人工操作数据，以便于界定操作人员使用人工智能武器时要为哪些错误操作承担个人责任。此外，未来战场人类也很有可能会使用远程监控系统全程实时监测人工智能武器的运行，如果远程监控系统的操作人员知道或者应当知道人工智能武器即将攻击非法目标，但未及时报告指挥官或者采取任何措施阻止攻击行为，那么该操作人员理论上也可能会因其未“按照国际人道法、武器系统安全规则和相关交战规则谨慎操作”而被追究个人责任。

四、结语

伴随着国际军事话语权体系的重构整合，以及国际人权领域的深切关注，虽然未来人工智能武器的应用空间仍有很大的不确定性，但我们可以确定的是，对人工智能武器尤其是致命性自主武器系统施以有效的人类监督，使人工智能武器朝着可预测的方向自主行动，使其行动完全符合并遵守国际人道法原则和冲突规则，是未来人工智能武器系统研发的必然选择。