1 引言

2016年3月，随着“Alpha Go”（译做“阿尔法狗”，是由美国谷歌公司研发的一款围棋人工智能程序）以4比1击败围棋世界冠军李世石，人工智能热潮再次兴起。人工智能正作为一种“赋能”技术，已向安防、金融、医疗等传统行业渗透应用，改变着我们的生产生活方式。人工智能在未来社会中将扮演至关重要的角色。然而，随着无人汽车、智能语音助手、智能安防产品的落地应用，人工智能发展所带来的安全问题也不断暴露，应引起我们高度重视。

2 人工智能发展情况概述

人工智能的概念最早是由美国科学家麦卡锡在1956年的达特茅斯会议上提出的，他认为“人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样”。随着时间的推移和科技的不断发展，人工智能经过了3次发展浪潮，现在正在进入第4次浪潮。目前普遍被人们认可的人工智能定义是“人工智能是用机器模仿和实现人类的感知、思考、行动等人类智力与行为能力的科学与技术，目标在于模拟、延伸、拓展人的智慧与能力，使信息系统或机器胜任一些以往需要人类智能才能完成的复杂任务”。

现在这一阶段，是以日本推出AIBAO机器狗为启动标志，以“AlphaGo”战胜李世石为引爆点，在算法、算力和数据3大内在因素的驱动下，在与安防、金融、制造等行业深入融合下，出现的一次智能化变革浪潮。目前来看，人工智能虽仍属于潜能释放阶段，但其优势已得到逐步显现。

一是人工智能正在改变部分行业的生产运作模式。随着人工智能的发展应用，正在推动产业从生产方式到管控模式的变革。以制造业为例，由“机器换人”，将可以实现工厂的24h无停歇生产制造，可实现产品的规格化、标准化、批量化，最大限度地提升劳动效率和生产效益。据埃森哲预测，在人工智能的帮助下，人们将能更有效地利用时间，到2035年，在人工智能的推动下，我国劳动生产率有望提高27%。

二是人工智能正在改变人们的日常生活方式。在人工智能的驱动下，语音语义、计算机视觉等技术应用更加成熟，智能化人机交互软硬件不断出现，语音识别、人脸识别等技术已经广泛应用于智能客服、远程开户、实名认证等方面，使得人们的生活更加便捷。例如微众银行和腾讯云合作，利用人工智能技术，通过在手机上安装的APP程序，仅需20s就能判断开户者与身份证持有者是否为同一人，使得用户可以不用到银行柜台就能办理各种银行业务。

三是人工智能将驱动社会向更高层级发展。人工智能正在将人类从简单重复的劳动中解放出来，使得人们有更多的时间去追求更高层级的生活体验。例如，谷歌公司正在研发的无人驾驶汽车，就是在计算机视觉技术、传感器与高精度地图等人工智能软硬件配合协作下，实现的在公路网上的自动行驶，使人们可以从“驾驶”的工作中解放出来，在车内空间中开展办公、休闲等活动，极大地提升了时、空利用率。

总的来看，现阶段的人工智能是一种“赋能”技术，可以应用于生产生活的各个方面，有效提高效率和质量，必将在今后的社会中发挥重要作用。

3 人工智能安全问题现状

随着人工智能的推广应用，特别是在金融、制造、交通等关系国家和人们生命安全的重要基础领域的应用，人工智能的安全问题也显得尤为重要。

（1）人工智能类产品暂时无法摆脱传统的信息安全问题

人工智能本质上是一种信息通信技术，需要运行在一定的信息系统环境中，这就意味着基于人工智能的应用也面临着传统的信息安全问题。比如，基于人工智能的人脸识别算法已相对成熟，并在门禁、考勤等系统中应用，但是黑客仍可利用系统自身漏洞、获取管理员权限等方式实现入侵，使得人脸识别的功能失去意义。此外，现有的人工智能产品往往采用“终端+云端”的模式，云端的接口往往直接暴露在公共网络环境下，或比较容易被找到，一旦发生拒绝服务攻击，将使得整个产品陷入瘫痪状态。

（2）诸多人工智能产品设计研发中安全考虑不足

现有的人工智能产品大多是基于机器学习或深度学习算法，而这些算法需要大量数据来训练模型，利用算法对输入数据变化的敏感性，攻击者可对输入数据进行干扰生成对抗样本诱使人工智能系统产生错误输出，进而达到攻击的效果。在2016年的DefCon会议上，来自360公司的团队就利用对抗样本攻击成功控制特斯拉自动驾驶汽车；利用人工智能记录数据细节的特点，可实施反向攻击以获取敏感信息，例如Fredrikson等人成功从面部识别系统恢复出训练数据集中特定用户的图像。

（3）人工智能亦“矛”亦“盾”，存在滥用风险

人工智能是一种通用技术，天生没有“正”、“反”的属性，但却可能被用于不同的方面。一方面，人工智能正在被用于军事领域，成为了得力的“杀人”工具，这种不需要人类操控就能自动运行的武器一旦“失控”，后果将不堪设想。在联合国特定常规武器公约会议上，一位演讲者介绍了一款迷你无人机，能够自主飞行，且装有小型爆炸物，通过人脸定位冲向目标，引爆爆炸物，实现一击致命，充分展示了这种人工智能“武器”的强大威力。另一方面，人工智能正在被用于黑灰色产业，为黑灰色产从业人员开展“刷单”、“撞库”等恶意行为提供了方便。例如，验证码是存在于各种网络入口的“守门员”，可以起到防止机器大规模注册，防止机器暴力破解等作用。但是，利用人工智能技术可轻松识别图形、语音验证码，将使验证码的防御功效大打折扣。目前，已有安全研究人员成功使用谷歌提供的Web Speech API（语音识别服务）来破解它自己的reCaptcha声音验证码。

4 国际上对人工智能安全问题的关注情况

目前，人工智能技术还属于前沿科技，相关产品也处在尝试性应用阶段，对其安全问题的研究也处于初期阶段。但人工智能的安全风险已引起相关国家、国际组织、科技巨头公司、学术界等多方的关注和重视。

（1）欧美等发达国家将人工智能上升到国家战略高度，并将安全问题作为重要研究方向

美国政府在2016年发布的《国家人工智能研究与发展策略规划》和《为人工智能的未来做好准备》两份重要报告中，都将“确保人工智能系统的安全可靠”、“安全和控制”、“人工智能和网络安全”作为美国人工智能战略中的重点方向。同年6月，欧盟召开专门会议，讨论人工智能立法问题，认为人工智能机器人也受法律约束，必须依法缴税，同时可以享有养老金。

（2）部分国际组织、学术机构意识到人工智能所面临的安全和伦理问题，呼吁人们予以关注

国际标准化组织IEEE于2016年发布《合伦理设计：利用人工智能和自主系统最大化人类福祉的愿景》，提出科技人员在人工智能研发过程中应遵循的人工智能安全伦理原则及实施建议，并鼓励在人工智能研发过程中，优先考虑安全和伦理问题。谷歌、OpenAI、加州大学伯克利分校、斯坦福大学的科学家联合发表了《人工智能安全性的具体问题》一文，认为有必要在人工智能研究中对安全问题进行验证，从而以切实可行的方法，设计安全可靠的人工智能系统。

（3）一些科技巨头公司投入重金，开展人工智能安全方面的研究

特斯拉和SpaceX太空探索技术公司的CEO埃隆·马斯克向FutureofLifeInstitute（FLI）捐赠1000万美金专门用于保证人工智能安全性的研究。

5 政策与建议

近年来，我国政府先后出台了《“互联网+”人工智能三年行动实施方案》、《新一代人工智能产业发展规划》、《促进新一代人工智能产业发展三年行动计划（2018—2020年）》等文件，党的十九大报告指出要“加快建设制造强国，加快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度融合”，足可见人工智能在我国经济社会中的战略高度。然而，人工智能是一把“双刃剑”，我国在人工智能安全方面的努力还远远不够，需要高度重视安全问题，否则可能无法享受其带来的智能化“红利”，反而会造成严重的社会问题。

因此，需要充分认清人工智能的本质和特点，制定较为完善的法律政策要求，建立精确、精细的技术管理手段，确保人工智能的可管可控，以便更好地利用人工智能，发挥其价值作用，从而带来技术上的创新与变革。建议我国政府、学术机构及产业界联手协作，共同应对人工智能带来的安全问题。

一是应研究推进我国人工智能相关的法律法规建设。欧盟、日本等人工智能技术起步较早的地区和国家，已经意识到机器人和人工智能进入生活将给人类社会带来的安全与伦理问题，并已着手开展立法探索，如2016年5月，欧盟法律事务委员会发布《就机器人民事法律规则向欧盟委员会提出立法建议》的报告草案，探讨如何从立法角度避免机器人对人类的伤害。我国也应当尽快开展相关研究，明确重点领域人工智能应用中的法律主体以及相关权利、义务和责任，建立和完善适应智能时代的法律法规体系。

二是制定伦理准则，完善人工智能技术研发规范。当人工智能系统决策与采取行动时，人们希望其行为能够符合人类社会的各项道德和伦理规则，而这些规则应在系统设计和开发阶段，就需被考虑并被嵌入到人工智能系统。因此，需要建立起人工智能技术研发的伦理准则，指导机器人设计研究者和制造商对一个机器人做出道德风险评估，并形成完善的人工智能技术研发规范，以确保人工智能系统的行为符合社会伦理道德标准。

三是应研究建立人工智能产品的评估体系和准入标准。应尽快组织人工智能产业链上的各方专家，共同梳理研究我国人工智能应用及标准化需求，并积极与ITU、ISO等国际标准化组织沟通对接，围绕人工智能产品的研发、生产和使用等环节，建立评估体系和准入标准。对涉及国家政治、经济、国防、社会公共安全的人工智能信息系统的引进和建立，应建立行政审核机制，引导采用自主品牌的产品和技术。

四是建立监管体系，强化人工智能技术和产品的监督。由于智能系统在使用过程中会不断进行自行学习和探索，很多潜在风险难以在研发阶段或认证环节完全排除，因此加强监管对于应对人工智能的安全、隐私和伦理等问题至关重要。建议在国家层面建立一套公开透明的人工智能监管体系，实现对人工智能算法设计、产品开发、数据采集和产品应用的全流程监管，加强对违规行为的惩戒，督促人工智能行业和企业自律。