摘   要：深度伪造威胁具有脱实向虚的特点，但是治理又具有由虚向实的特点，若治理稍有不当，其危害难以估量。文章从深度伪造的主体和场景进行了深度伪造的威胁分析，结合网络空间特性，文章从深度伪造的威胁流程、生态等视角，探讨了深度伪造的治理路径，并基于深度偽造研究的现状，提出了治理的原则和治理策略。

关键词：深度伪造;治理框架;治理策略;网络空间

中图分类号： TP274+.2          文献标识码：B

Abstract： The threat of deepfake has the characteristics of deviating from reality to reality， and its governance must be from reality to reality. The governance is slightly improper and the harm is difficult to estimate. The threat analysis of deepfake was carried out from the subject and scene of deepfake. Based on the characteristics of cyberspace， the governance path of deepfake was explored from the perspective of the threat process and ecology of deepfake. Principles and governance strategies.

Key words： deepfake; governance framework; governance strategy; cyberspace

1 引言

深度伪造是“深度学习”和“伪造”的结合，是数字化处理、从未真正发生的超现实信息，这些信息内容可以是文字、图片及音视频等。由于深度伪造利用深度学习算法，实现对现实世界的高度模拟和伪造，极具“规模性”和“欺诈性”，对网络空间安全和数据污染治理带来了严重挑战。深度伪造起始于2017年Reddit用户发布的Deepfake视频[1]。因这些视频涉及娱乐和公众难以分辨真假的明星私生活，在社交媒体上迅速传播，随后深度伪造在各个社交媒体、新闻[2]等行业发展迅速。深度伪造可以干预选举、颠覆他国政权，威胁国家安全;煽动操纵社会舆论，威胁社会安全;操作股票金融、实施诈骗，威胁金融安全;盗用公民个人信息，威胁公民个人信息安全，污染网络空间威胁数据污染治理等[3～7]。深度伪造已成为人工智能时代不可回避的网络空间安全问题。

当前，世界各国已经开始研究防御深度伪造威胁的对策。美国是深度伪造的先行地，无论是社交媒体、新闻、还是民主政治，美国都最先触及了深度伪造的威胁。归纳起来，美国对策主要集中在技术和立法层面。在技术层面，主张通过自动检测技术（如基于深度学习的自动检测）或新技术（如基于区块链的验证系统）的方法检测、防御深度伪造[5，8，9]。其中，最有成效和代表性的是加州大学河滨分校研究人员提出的一种基于神经网络的混合LSTM和编解码网络的自动检测算法[10]，该算法由递归神经网络和编码过滤器两部分组成。递归神经网络是将深度伪造图像分成小块去找伪造痕迹，编码过滤器能够使算法在更大、更全面的层次上考虑整个图像的情况。该算法称其准确率在71%～95%之间。同时，美国国防高级研究计划局（DARPA）于2018年6月先后启动了“媒体取证”和“语义取证”项目[11]，分别从媒体传播路径溯源和真伪信息差异对比中自动甄别信息的真伪。

在立法层面，美国试图以加强立法来应对深度伪造的威胁，截止2019年年底，美国已公布了《禁止恶意深度伪造法案》《2019年深度伪造责任法案》《2019年深度伪造报告法案》和《德克萨斯州关于制作欺骗性视频意图影响选举结果的刑事犯罪法案》等法案。这些法案意图从根源上阻止深度伪造技术的不当利用。2019年5月，我国中央网信办发布了《数据安全管理办法（征求意见稿）》，其中规定对网络运营者利用大数据、人工智能等技术自动合成新闻、博文、帖子、评论等信息，应以明显方式标明“合成”字样，不得以谋取利益或损害他人利益为目的自动合成信息。2019年11月，中央网信办联合文化和旅游部、国家广播电视总局印发了《网络音视频信息服务管理规定》，要求应明确标识由深度学习、虚拟现实等新技术生成的音视频，不得利用相关技术制作、发布、传播虚假信息，并建立健全辟谣机制，标志着我国相关决策者已经意识到深度造假的威胁，并采取措施积极应对。

由于网络空间的特殊性和网络武器的重要性，以美国为首的国家尤其重视深度伪造所带来的安全问题。与此同时，美国还成立了一个专家小组，主要针对其它国家如何利用人工智能、量子计算等新兴技术的科技霸权，打造网络攻击的武器[12]。美国布鲁金斯学会发布报告指出，未来十年内将出现自动检测技术无法检测的“深度造假霸权”。这表明对于深度伪造威胁没有100%的准确检测技术，其面临的挑战不容忽视。美国主导的一贯思维是要始终保持科技领域和军事领域的霸权，对其他任何国家的科技超越和军事超越，均不可容忍是不争的事实。对深度伪造给其自身所带来的政治、民主安全带来了严重的挑战，无论是在国家层面、社会经济层面，还是公民个人信息保护层面，美国会加大自身防护，同时也加大对其他国家威胁的输出。毋庸置疑，网络空间会成为各种利益主要的博弈场，而深度伪造将会是其中博弈的主要工具之一。而应对网络空间中深度伪造这种新的利益博取工具威胁，我国还处于起步阶段，相关研究成果比较少，当前最具代表性的是国内学者龙坤、曹建峰等，他们分别从国家安全和法律角度对深度伪造进行论述并提出了应对之策[13，14]。本文综合当前国内外深度伪造的治理现状，试图对网络空间安全中的深度伪造治理问题进行系统阐述，以供实践参考。

2 深度伪造的威胁分析

深度伪造是基于深度学习的技术，其本身不存在威胁。只是在现实社会中基于各种利益的考量和争夺，被人们恶意使用，从而造成威胁。根据深度伪造恶意使用的发出点和利益点的不同，深度伪造的使用主体也不同。同时，不同深度伪造的使用主体、威脅场景所带来的威胁影响程度也不同。

2.1 使用主体

深度伪造发生在网络空间，依赖网络空间而生成和发展。从深度伪造的使用主体分析，大致可以分为六类：

（1）Deepfake爱好者，不以混淆视听、不当使用为目地，纯属个人业余爱好的使用者;

（2）Deepfake工具使用者，如摄影、影视、广告、宣传、娱乐等合法从业者;

（3）参与政治的使用主体，如对敌国实施网络暴力、颠覆、政治的煽动者，制造网络恐怖以及国与国之间的各种敌对、间谍活动等，具有“政治意图”的使用者;

（4）企业或组织等市场主体使用者，如不当商业竞争、虚假的广告宣传、假新闻制造等的使用者;

（5）其他恶意使用者，如欺诈、挑起舆论、谋取非法利益等的使用者;

（6）人工智能、深度学习算法等的研究者。

2.2 应用场景

深度伪造是利用深度学习技术对影视明星作品进行娱乐化伪造，引起的明星效应而开始受到重视。其实，在这之前伪造已经运用的非常普遍，如摄影行业的PS修图软件、美颜相机、短视频等软件，由于大多限于正当合法用途，而广为社会所接受。随着网络空间的发展、深度学习的广泛应用，人与人、人与社会的逐渐网络化、空间多维化，深度伪造成为人类社会中新的利益搏击场。各种应用场景层出，威胁造成的影响也日渐扩大，从深度伪造使用最常见的场景分析，深度伪造典型的应用场景有七类：

（1）传统场景。如摄影、影视、广告、VR、娱乐等合法、正当使用场景;

（2）新闻媒体场景。制造深度伪造的新闻媒体，从而达到获取非法利益的目的。如制造不在第一现场无法获取真相的虚假新闻或将A地发生的具有共性的新闻，真假掺半的用于B地的新闻，进行虚假宣传等场景;

（3）政治参与场景。如政治煽动、政权颠覆、国家黑客攻击、网络恐怖主义和外国网络间谍等，具有政治意图的应用场景;

（4）社会金融场景。利用深度伪造进行金融、股票交易，以及其他各种市场交易的社会金融场景;

（5）市场商业场景。利用深度伪造制作虚假资质、证书、信息资料或侵权产品等，参与市场商业的场景;

（6）网络社交场景。根据他人或其他信息，利用深度伪造制作实际不存在的、逼真的社交人信息进行伪装参与网络社交的场景;

（7）创作场景。利用深度伪造技术进行的伪科研、学术、论文、著作、艺术等创作场景。

2.3 威胁分析

从深度伪造的使用主体和场景来看，不同的主体有不同的应用场景，产生不同的威胁影响。

Deepfake爱好者、Deepfake工具使用者以及人工智能、深度学习算法等研究者主要集中在传统场景中，他们不以使用深度伪造获取非法利益为目的，是无威胁的。

企业或组织等市场主体使用者以及其他恶意使用者，主要集中在新闻媒体、网络社交、社会金融、市场商业和创作等场景中，他们有明确、非法的市场利益诉求，集中在某些领域或行业，可以给他人、市场、经济和社会等带来恶劣影响。如企业或组织等市场主体使用者，可以在新闻媒体场景中，制造真假难辨的新闻，进行虚假宣传，破坏政治、引起恐慌和骚乱;在社会金融场景和市场商业场景中，可以利用深度伪造的假音频在电话上冒充任何金融相关人，进行金融诈骗。特别是深度伪造在视频通话中也可以被实时伪造，这会对现有的互联网金融认证体系带来巨大的安全挑战;此外，还可以在创作场景中，利用深度伪造制造伪学术、伪科研、伪论文、伪著作等，这将会对现有的科研学术评价体系带来严重冲击，同时信息、数据污染也将变得更加严重。

参与政治的使用主体主要集中在参与政治场景和新闻媒体场景中，他们有明确的政治意图，具有比企业、组织等实体更强的队伍和力量，可进行规模化、持续性的深度伪造，是当前深度伪造威胁中最大的一种威胁。特别是在当下的网络空间中，深造伪造可以当作网络空间的武器，用来干扰选举并引发内乱。利用深度伪造进行政治煽动、政权颠覆、民主破坏、国家黑客攻击、网络恐怖主义等活动，来破坏特定国家的安全稳定。

综合威胁分析，深度伪造的威胁可以分为三类：无威胁、局部威胁、国家威胁。如表1所示。这些威胁的分类随深度伪造的使用主体和使用场景变化而变化。无威胁可转换为局部威胁，局部威胁可转换为国家威胁，反之国家威胁也可以潜伏做些局部威胁或无威胁的深度伪造。这对深度伪造威胁的治理来说，是巨大挑战。

3 深度伪造治理

深度伪造的威胁在网络空间中无处不在，因其适用的主体和场景众多，其本身从现实高度“伪造”，又超越“现实”，极具“欺诈性”和“高风险性”，其治理必定面临复杂多变，而又迫在眉睫的形势。

3.1 治理原则

网络空间是跨地域、世界互联的虚拟空间。发明网络的初衷就是为了信息共享和提高效率，是人类走向“高效协同”的标志，给社会生产带来了巨大的生产力。网络已经成为人类社会的重要基础设施。但由网络构筑的网络空间不同于现实物理空间，没有物理空间的界线，网络空间中的“网民”没有物理地域活动空间的限制，信息传播基本“零延时”。

深度伪造要构成威胁，必须借助网络，深度伪造的威胁离不开网络空间。深度伪造借助网络空间的“无界性”和“零延时”特性，可迅速传播，从而发生作用，产生影响。这就决定了在网络空间中深度伪造的治理问题，不同于物理空间的治理，其治理结构必须全面、有效、迅速响应、脱“虚”向“实”的化解威胁。这就决定了深度伪造治理时，必须注重三个原则：

（2）划定界线、明确权责、打造共治共享的网络空间环境

深度伪造威胁的不可预估性、角色和主体复杂性，单靠政府单方面治理，力量薄弱。加之深度伪造的高度逼真性、广泛的连接性和易于传播等特点，其甄别离不开现实的“真实性”，即深度伪造最怕“真像”，而“真像”是政府无法面面俱到的第一时间获得。加大公众对深度伪造的认识能力、甄别能力、防御能力和网络空间权益保障能力的培训、宣传，打造共治共享的网络空间环境。特别注重对跨行业、跨部门、跨阶层的深度伪造防御，打造无缝对接的共治共享。管理上，实现共同参与、深度参与的深度伪造精细化治理;技术上，开辟深度伪造防御自动化监测新技术、新模式。深度伪造的治理和防范，要更多的集中于敌对国家层面来考虑，特别是对域外国家，开展国际合作的共治共享，要着力打造网络空间无法外之地，共同打击深度伪造威胁。

深度伪造所涉及的网络空间主体角色有：制造者、发布平台、“网民”、监管者。这些主体角色在物理空间呈现的主体一般是个人、企业实体、组织和各级政府。深度伪造主体角色和物理主体关系复杂，呈多对多特点。深度伪造制造者的物理主体可能是个人、企业实体、组织，也可能是各级政府;深度伪造发布平台的物理主体可能是个人、企业实体、组织、各级政府等实体搭建的;“网民”的物理主体是网络空间中主体的总和;深度伪造监管者的物理主体一般只可能是各级组织或各级政府。反之，个人即可以是深度伪造的制造者、发布平台的搭建者、“网民”，也可能是深度伪造的监管者。企业实体、组织和各级政府也可能是深度伪造的制造者、发布平台的搭建者和“网民”。

这种复杂关系，决定了在深度伪造治理中划定权责、界线的必要性和关键所在。对个人、企业实体、组织、各级政府共同的界线是坚守深度伪造使用的合法性和深度伪造义务的防御性。从深度伪造主体角色的网络空间行为界线和深度伪造主体的网络空间行为界线，分别明确相应的权责和约束，特别是明确好监管者的权责，让网络空间安全共享、自由、平等而又可控，并建立各级深度伪造事件的应对协调机制，既要分而治之，又要统筹协调。

其次，深度伪造更大的威胁是来自域外国家、企业实体或组织、公民的恶意使用，因此划定域外国家、企业实体或组织、公民的网络空间行为界线，明确权责，需要专门组建应对域外深度伪造威胁的体制。

（3）加强深度伪造检测技术扶持和立项支持，建立防御责任制

鼓励科研院所、人工智能及区塊链技术企业成立联合公关小组，提升开发检测软件，改善区分伪造和真实信息的技术能力。首先使国内企业化深度伪造的检测准确度，达到国际领先水平的71%～95%。同时，国家及各地地方相关职能部门联合科研院所、企业及个人搭建深度伪造竞技平台，开展深度伪造生成及检测技术攻防竞赛，提升深度伪造检测、防御能力，选拔、储备深度伪造技术管理的网络空间人才。

鼓励各级国家安全、网络安全、公安、维稳、舆情及广电媒体等可能与深度伪造威胁相关的职能部门，开展各自领域的深度伪造检测、防御等项目的立项工作，保障经济、社会、政权和国家安全。网信部门统领，加强现有各企事业机关单位的互联网信息网络平台的深度伪造治理，建立各信息网络平台的深度伪造检测、预防、排查和管理工作机制，并建立防御深度伪造工作责任制和责任清单，确保网络空间安全和清爽的网络空间环境。

4 结束语

深度伪造的威胁表面上看是由人主导的人与机器的一场战争，其本质仍是人与人的较量，威胁不可小觑，它给美国为首的西方国家带来了政治恐怖。现阶段对于深度伪造治理，单靠技术是无能为力的，这将是未来网络空间安全中需要持续治理的工作。同时，深度伪造所带来的数据污染问题也将迫在眉睫，特别是它所涉及到的在文化、艺术、学术等方面的造假治理将是顽疾。本文论述了深度伪造的威胁、治理原则和治理策略，分析了深度伪造的主体角色、威胁流程及生态治理，并从这些方面入手，以技术层面，加配套管理层面规约，从整体宏观层面对深度伪造治理问题给予了分析，供深度伪造治理实践和治理布局参考。

参考文献

[1] MikaWesterlund. The Emergence of Deepfake Technology： A Review[J].Technology Innovatin Management Review，vol.9，no.11，pp.39-49，Nov.2019.

[2] Aldwairi，M.and Alwahedi. Detecting Fake News in Social Media Networks[J]. Procedia Computer Science.Vol.141， pp.215-222. 2018.

[3] Chesney， Robert and Citron， Danielle Keats. Deep Fakes： A Looming Challenge for Privacy， Democracy， and National Security （July 14， 2018）[R]. 107 California Law Review 1753 （2019）; U of Texas Law， Public Law Research Paper No. 692; U of Maryland Legal Studies Research Paper No. 2018-21. Available at SSRN： https：//ssrn.com/abstract=3213954.

[4] J.Johnson. The AI-cyber nexus： implications for military escalation， deterrence and strategic stability[J]. Journal of Cyber Policy，pp.442-460，Dec.2019.

[5] Kevin M. Peters. 21ST CENTURY CRIME： HOW MALICIOUS ARTIFICIAL INTELLIGENCE WILL IMPACT HOMELAND SECURITY[D].AVAL POSTGRADUATE SCHOOL，MONTEREY，2019.

[6] H.Lin. The existential threat from cyber-enabled information warfare[J]. Bulletin of the Atomic Scientists. pp.187-196，Jun.2019.

[7] M.Albahar， J.Almalki. DEEPFAKES： THREATS AND COUNTERMEASURES SYSTEMATIC REVIEW[J]. Journal of Theoretical and Applied Information Technology. Vol.97. No 22.pp：3242-3250.

[8] Gardiner.Facial re-enactment， speech synthesis and the rise of the Deepfake[P/OL]. https：//ro.ecu.edu.au/theses_hons/1530， Nov.2019.

[9] P.Korshunov and S.Marcel. Vulnerability assessment and detection of Deepfake videos[C]. IAPR International Conference on Biometrics， 2019.

[10] Y.Wu， W.A.A， and P.Natarajan. ManTra-Net： Manipulation Tracing Network For Detection And Localization of Image Forgeries With Anomalous Features[C]. The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， pp. 9543-9552， 2019.

[11] Kelley M. Sayler and Laurie A. Harris. Deep Fakes and National Security[R]. Congressinal Research Service.Oct.2019

[12] Katyanna Quach. Deepfakes， quantum computing cracking codes， ransomware... Find out what's really freaking out Uncle Sam[EB/OL].Oct.2019. https：//www.theregister.co.uk/2019/10/23/homeland_security_ai/

[13] 龍坤，马钺，朱启超.深度伪造对国家安全的挑战及应对[J].信息安全与通信保密，2019（10）：21-34.

[14] 曹建峰.深度伪造技术的法律挑战及应对[J].信息安全与通信保密，2019（10）：35-40.

[15] 齐云菲，白利芳，唐刚，朱信铭.网络空间测绘概念理解与分析[J].网络空间安全，2018，9（10）：45-49.

[16] 高春东，郭启全，江东，王振波，方创琳，郝蒙蒙.网络空间地理学的理论基础与技术路径[J].地理学报， 2019，74（09）：1709-1722.

作者简介：

张桦（1985-），男，汉族，湖北巴东人，广东工业大学，硕士，中共广州市委党校，高级信息系统项目管理师;主要研究方向和关注领域：新一代信息技术、网络空间安全。

（本文为“2020年429首都网络安全日”活动征文）