近期，OpenAI发布的文生视频模型Sora引发全球关注，被认为将颠覆视频内容生成方式，也进一步增加了公众识别视频内容真伪的难度，担忧情绪随之衍生。如何应对深度伪造（Deepfake）和AIGC（人工智能生成内容）等新技术带来的安全风险，已成为全球关注的重要议题。

深度伪造已被用于违法犯罪

深度伪造是指技术利用机器的深度学习，实现图像、声音、视频的篡改、伪造和自动生成，产生高度逼真且难以甄别的效果。最常见的方式就是AI换脸，此外还包括语音模拟、人脸合成、视频生成等。

现实应用中，深度伪造技术有其积极一面。业内人士介绍，深度伪造技术开始被用于医疗和教育等领域。比如，通过数据和技术生成立体的身体模型视频，让医生更直观地进行医学诊断和研究;又如，通过技术合成的历史人物影像，让教学视频更有趣味等。

然而，硬币的另一面是深度伪造技术也经常出现在诈骗、色情等违法犯罪活动中。近几年，国内外均出现了利用深度伪造技术实施的诈骗案例，都造成不小的负面影响。

去年5月初，内蒙古包头市公安局电信网络犯罪侦查局发布一起使用AI换脸技术进行电信诈骗的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，想借用郭先生公司的账户走账。基于视频聊天信任的前提，郭先生并未核实钱是否到账，就陆续转给对方共计430万元，之后郭先生才发现被骗。……