APP下载

黑盒威胁模型下深度学习对抗样本的生成

2018-12-20孟东宇

电子设计工程 2018年24期
关键词:深度优化方法

孟东宇

(1.上海微系统与信息技术研究所上海200050;2.上海科技大学信息学院,上海201210;3.中国科学院大学北京100029)

近年来,深度学习及相关技术高速发展,在众多领域取得了重大的突破[1]。在机器视觉[2-3],语音识别等领域[4],基于深度学习的方法将原有方法的功能极限向前大幅推进。而随着硬件性能优化和软件模型设计的进步,深度学习在很多实际生产生活场景中也得到了应用,自动驾驶汽车[5],人脸识别验证[6]等等技术称为了新的热点。

这些场景中,计算机系统的功能正确性对相关人员的生命财产安全起决定性作用。因此,如何有效地对深度学习系统的安全性做检测和验证成为了重要的研究课题。此前,研究人员已经发现,即使对于在正常测试样本上表现十分出色的神经网络模型,只需在正常测试样本上叠加一个非常小的恶意噪声,就可以导致神经网络出现错误。这样由正常样本叠加微小恶意噪声而生成的数据样本被称为对抗样本。对抗样本的存在对基于深度学习技术的人工智能系统造成了巨大的安全威胁。

由于深度学习技术的相关理论研究依然处于起步阶段,人们无法形式化地解释深度神经网络的工作机制,也就无法通过形式验证的方法确保大型深度神经网络的正确性。因此,借鉴其他软件安全研究方法,找到某一特定神经网络模型的对抗样本就有了巨大的实际安全评估研究价值。对神经网络进行攻击产生对抗样本是得到一手安全威胁的重要指标,也是评估、研究、乃至解决这一安全问题的第一步。……

登录APP查看全文

猜你喜欢

深度优化方法
超限高层建筑结构设计与优化思考
民用建筑防烟排烟设计优化探讨
关于优化消防安全告知承诺的一些思考
一道优化题的几何解法
深度观察
深度观察
深度观察
用对方法才能瘦
四大方法 教你不再“坐以待病”!
捕鱼