李雅琪 冯晓辉

人工智能实现高速发展的同时也潜藏风险，反人工智能技术的出现凸显了人类对人工智能的忧虑，有其存在的必要性。当前，反人工智能尚处起步阶段，技术效能依然较低，且反人工智能本质上与人工智能相同，也须“三思而后用”。

2018年12月，欧盟人工智能高级专家组发布《可信赖的人工智能道德准则草案》。该准则草案提出了实现“可信赖人工智能”的两个核心要素——道德目的、技术可靠。在此之前，学术界已经开始从技术角度探索防范人工智能潜在风险的“反人工智能”技术。2018年8月，加拿大学者公布了关于人脸检测动态扰乱系统的研究成果，该技术能将人脸检测准确率从接近100%大幅降低至0.5%。當前，人工智能尚处于“弱人工智能”阶段，反人工智能的早早出现，既凸显出人类对人工智能的潜在忧虑，也从技术角度提供了一条确保人工智能不会危及人类自身的新思路。因此，有必要梳理反人工智能技术的发展现状与前景，并统筹考虑人工智能与反人工智能的协同发展，确保人工智能可控、可靠、可信地造福人类。

人工智能高速发展引发风险担忧

人工智能引发的忧虑日渐增多

人脸检测是当前人工智能领域最为成熟的技术之一，已经开始在多个领域应用推广。但许多人认为，人脸检测等人工智能技术在为人类提供便利的同时，也带来了数据隐私泄露等安全隐患，有必要从各个角度开展防范策略研究，以防止用户数据隐私泄露。事实上，在人工智能蓬勃发展的光环之下，其所引发的忧虑远不止数据隐私泄露。当前，虽然各国大力倡导人工智能的应用推广，但现阶段的“弱人工智能”与真正的人脑智慧相差甚远，缺乏自主认知意识与学习能力，十分依赖海量数据训练，并且还无法学习形成人类的道德伦理观念，这就意味着“弱人工智能”在应用过程中存在大量令人担忧的隐患环节。

人工智能高速发展潜藏两大风险

对人工智能的忧虑，主要源自人工智能的自身技术缺陷和技术潜在滥用两方面。

在自身技术缺陷方面，第一，当前的机器学习本质上是一项黑盒技术，其训练过程具有难以解释、不可控制的特点，且随着人工智能的应用复杂度、需求数据量的指数式增长，机器学习尤其是基于多层神经网络的深度学习复杂程度愈发超出人类理解和控制范畴，在快速进化过程中极易偏离人类为其预设的轨迹。例如，微软发布的人工智能机器人Tay在与网友聊天的过程中很快学会了脏话，甚至学会了种族歧视的言论，导致微软被迫紧急下线该产品。第二，机器学习模型训练过程完全依赖于海量数据，数据的好坏将直接决定人工智能技术效能，训练数据的任何偏差都将在人工智能应用中如实反映。例如，由于用于模型训练的简历具有男多女少的特点，因此，亚马逊的智能简历筛选系统学会了性别歧视，一旦抓取到简历中“女”这一关键词，便会降低应聘者的考核分数。

在技术滥用方面，随着人工智能应用领域的快速延伸，人工智能技术触及人类道德伦理底线，乃至威胁人类自身安全的事件不断出现。例如，斯坦福大学的研究人员于2017年发布了一种依靠面部图像识别来判断性取向的算法，该算法判断男同性恋和女同性恋的准确率分别高达91%和83%。因此，该应用只需提取人类上传在社交网络的照片即可判断其性取向，这无疑是严重侵犯个人隐私的行为。而人工智能一旦在黑客网络攻击，甚至大规模杀伤性武器等方面滥用，将引发难以估量的严重后果。

防范人工智能风险已经“在路上”

随着“AlphaGo战胜李世石”等标志性事件接连出现，人工智能引发的忧虑随之加深，人类开始从法律法规、道德准则、技术等多个角度探索防范人工智能潜在风险的手段。法律法规方面，2017年，欧美多个国家提出要积极开展人工智能相关的立法研究。例如，英、美分别在《人工智能：未来决策制定的机遇与影响》、《人工智能未来法案》中强调，要密切关注人工智能可能的负面影响，并提出要确保人工智能威胁的最小化。道德准则方面，2018年，谷歌因参与军方人工智能项目而引发内部员工的强烈反对，最终被迫发布了11条运用人工智能技术的“不作恶”准则。2018年12月，欧盟发布人工智能道德指南草案，提出了规范人工智能应用的几大问题。

此外，在技术方面，人脸检测动态扰乱系统并非反人工智能的首次技术尝试。此前，美国麻省理工学院（MIT）的研究人员就曾尝试通过构建3D对抗样本来欺骗图像识别系统。此外，生成对抗网络（GAN）的创造者伊恩·古德费洛曾在2017年牵头组织对抗攻击防御竞赛，引导研究人员开展人工智能算法的攻防比拼，以期引起各方对反人工智能技术的关注和研究。

从某种意义上讲，当人类出于自身福祉的考虑开发出的人工智能难免令人担忧，而相关法律法规和技术伦理又大为滞后时，相比于法律道德的“防君子不防小人”，在技术层面实实在在地开发人工智能的对抗技术显然更能让人心安。因此，虽然现在的人工智能技术还很弱，但反人工智能的出现也是必然的。

反人工智能仍处于起步探索阶段

反人工智能历经两大阶段

截至目前，反人工智能技术的发展大致经历了两个阶段。早期，反人工智能技术主要聚焦于通过污染训练数据来攻击机器学习模型。这是一种简单直接的反制方法。但由于机器学习模型一般都在封闭环境中开展训练，很难受到外部干扰，因此这类技术并未获得进一步发展。2014年，伊恩·古德费洛提出的生成对抗网络为反人工智能技术开辟了第二条技术路径，研究人员可基于生成对抗网络对源数据施加微扰，从而构造动态对抗数据，这一微扰难以被用户感知，却能使机器学习模型在检测识别时做出错误判断。该方法与人工智能技术相同，都基于机器学习算法。

反人工智能技术效能仍然较低

人工智能尚处于初级阶段，而反人工智能在技术效能和应用领域等方面处于更加早期的阶段。从技术效能看，构造对抗数据的方法易于被有效防御。只要在人工智能模型训练初期利用已知的对抗性数据进行训练，就能提升模型辨别良性、恶性数据的能力，进而抵御对抗性数据对模型系统的压制。从应用领域看，由于反人工智能技术亦基于机器学习，因此与人工智能技术在图像和语音识别领域发展类似，反人工智能技术也集中在这两个领域。自然语言处理、认知推理等其他人工智能应用领域尚无可行的反人工智能解决方案。此外，此类方法只能在人工智能模型系统的推断环节实施干扰，无法在训练环节发挥作用。

反人工智能也须“三思而后用”

反人工智能技术的出现反映了人类对人工智能发展的忧虑，但该技术的发展与应用同样需要审慎。本质上，人工智能和反人工智能都是基于机器学习算法的技术，只是在技术效能上构成相互对抗的关系，即以人工智能对抗人工智能。因此，反人工智能在某种程度上同样具有不可靠性，也同样面临着不可控、被滥用的风险。例如，自动驾驶高度依赖人工智能的图像识别技术，倘若反人工智能技术被非法地运用在自动驾驶领域，就可能导致自动驾驶汽车无法有效识别道路信息，从而引发灾难性后果。因此，在人工智能演进路径尚不清晰的情况下，要审慎思考人工智能与反人工智能的关系，综合性、互补性地发展和运用人工智能与反人工智能技术，从而在最大程度上确保人工智能在造福人类时可控、可靠、可信。

对策建议

布局反人工智能技术研究

围绕确保人工智能技术可控、可靠、可信的总体目标，加快推进反人工智能的基础理论研究和应用技术研发，争取未来技术的发展主动权。一是支持开展基于生成对抗网络的反人工智能技术研发，提升反人工智能技术的抗干扰能力和实用性，防止其被人工智能技术“反对抗”。二是在开展图像识别、语音识别领域反人工智能技术研发的同时，在自然语言处理、认知推理等其他人工智能应用领域积极开展反人工智能技术研究。三是支持开展针对人工智能机器学习模型训练环节反人工智能技术的理论研究和技术开发。四是前瞻布局适用于反人工智能技术研发的基础理论，探索机器学习以外的革新性技术路径。

探索反人工智能应用场景

面向人工智能应用过程中潜在风险防控的现实需求，推动反人工智能技术的落地应用，积极探索人工智能与反人工智能的协同发展路径。一是围绕智能终端、云端软件系统等各类人工智能应用模式，支持将反人工智能技术作为风险防控模块，嵌入现有的人工智能产品服务，提升其可靠和可控程度。二是针对用户隐私保护、敏感系统防护等特定场景，将反人工智能技术作为独立产品，探索信息安全防护产品、服务的开发与应用。三是积极推动图像识别对抗系统、语音识别对抗系统等相对成熟的反人工智能技術的商业化落地。

深化人工智能与反人工智能理论研究

从确保人工智能健康发展、造福人类的根本立场出发，在理论、伦理等层面上加强对人工智能、反人工智能的综合性研究。一是前瞻布局脑科学、计算机科学、哲学等领域的跨领域基础理论研究，探索人工智能发展的客观规律和根本目标。二是积极开展关于人工智能的系统研究，提高对人工智能与反人工智能的本质及二者之间关系的认识，明确人工智能与反人工智能的研发标准、认证体系、应用范围。三是积极参与国际合作，共同开展人工智能道德伦理准则研究，推进相关法律法规的研究制定，加快完善人工智能和反人工智能的管理规范和监管手段。