信集

倪光南、邬江兴、方滨兴、杨小牛等四位中国工程院院士分别就网络安全技术、世界观与人工智能等主题进行系统阐述

作为2019“西湖论剑”大会的一大亮点，“院士圆桌”环节将论坛推向了高潮。倪光南、邬江兴、方滨兴、杨小牛四位中国工程院院士分别就网络安全技术的可控性安全性、针对网络攻击不确定性进行拟态技术防御、网络安全领域三维九空间和内生安全、网络安全世界观与人工智能等主题进行系统阐述，并进行高端对话。

倪光南：贯彻落实“4·19讲话”精神，为建设网络强国努力奋斗

三年前，习近平总书记在关于网信工作的“4·19”讲话中指出：“互联网核心技术是我们最大的‘命门，核心技术受制于人是我们最大的隐患。”

最近，通过美国制裁中兴等事件，人们大大加深了对总书记这一重要指示的认识，各行各业纷纷结合实际情况，积极部署安全可靠应用推进工作，旨在用自主可控的网信产品和服务替代原先垄断市场的非自主可控的产品和服务。可以预计在一个时期里，我国网信领域出现这类替代将是一种新常态，这是因为，网信领域到市场是高度垄断的，这使新产品和服务必须具备打破垄断的能力，否则就无法进入市场。

当然，对于以人工智能为代表的新一代信息技术而言，由于尚处在起始阶段，垄断往往来不及形成或不大明显，这有利于我国相应的企业进入市场与世界同行进行竞争，不过如某些方面我们的发展不够快，落在别人的后面，被别人垄断了市场，那么今后也有可能会面对新的垄断、需要实行新的替代。

中国网信领域的企业和广大科技人员应当有决心、有信心，以百折不挠的勇气，通过自主创新，彻底解决网信核心技术受制于人的问题，这样才能使中国从网络大国发展成为网络强国。

邬江兴：要解决网络空间最大的不确定安全威胁问题，必须从未知后门漏洞防御做起。

网络空间安全的本源问题主要来自四个方面：一是软硬件设计缺陷导致的安全漏洞不可避免。据统计，安全漏洞产生数量正比于软硬件产品的数量和规模，呈弥漫态势扩散到整个网络空间。二是产品提供者蓄意设计或生产过程带入的“暗功能”。经济技术全球化时代，开放式产业生态环境，不可能彻底管控或消除后门、病毒木马等问题。三是穷尽或彻查目标系统软硬件代码问题，在可以预见的将来，仍然是难以克服的技术挑战。四是现有互联网体系都是由美国人创造的，对逐步推动美国人开放互联网治理体系，不能抱有太大期望。根本出路是在全球治理前提下打造新一代的、各国自主可控的、安全可信的网络技术和服务体系。

同时，信息系统安全困局的核心问题在于无论是防护对象还是附加型防护设施本身就没有感知未知威胁的感知功能。防御手段的有效性严重依赖威胁感知和特征提取准确性及实时性，没有先验知识支持，防御系统根本不知道。因此我们提出拟态构造内生安全机制，希望通过“构造决定安全”的内生防御效应，颠覆基于目标系统软硬件漏洞后门等“暗功能”的攻击理论和方法，从而改变网络空间的游戏规则。

当然，面对正面的网络攻击，我们还是认为应该采用正面防御，该用密码或量子密码的还是要使用。因为只要是可以计算的，总是可以破解的，只是时间问题。但面对“歪门邪道”的攻击，我们可以采用拟态构造来防范。因为拟态构造内生安全机制是一项赋能技术，在我们技术水平和认知水平有限的情况下，可以减弱对设计人员的苛刻要求。拟态的核心是构造技术，利用三角形“内生性安全功能”，构造具有稳定性的网络空间，用构造技术解决构建技术不能解决的问题。

此外，我们还发现，近几年人工智能、大数据等新概念不断涌现。当年我们隆重推出互联网的时候，大家欢欣鼓舞。但“互联网+”发展到现在，我们发现“+”出了许多问题。所以，现在人工智能的发展，我们应该考虑是否存在一些潜在的危害。比如，目前人工智能进展最快的事是深度学习DPR，这方面跟训练模型强相关，一旦训练模型有稍许变化，识别就会大相径庭。此外，把科学方式推断到了四范式的大数据也有类似的问题。科学第一范式是科学观察，第二范式是实验，第三范式是模拟仿真，第四范式则是大数据。过去，我们认为应该知其然必知其所以然。但大数据却让我们只要“知其所以然”就可以，用不着“知其然”。那么就会出现这个数据到底是真理还是谬误的问题，大数据的决策将无法帮助我们，反而带来困惑。

所以无论是人工智能还是大数据，新的技术出现之后，都有内生问题，都有副作用，这些应该在发展的同期一起解决。正如习近平总书记讲过的“网络安全和信息化是一体之两翼，驱动之双轮，必须统一谋划、统一部署、统一推进、统一实施”。

方滨兴：安全既是赋能，也是伴生。要用好它的赋能向正向发展，还要抓住它的伴生性，要及时发现它的内生安全问题。

我觉得现在大家需要注意人工智能的内生安全问题。我们知道，人工智能大量的机器学习，依靠的是神经元网络。但是这种开放式训练，往往会导致一些奇怪的结果。因为人工智能在分类是，往往由于一些细微的，人根本看不出的改动，就分到别的类别。比如有个典型案例，一个写着STOP的标签，上面贴了两个小广告，人看到的还是STOP，自动驾驶在远处看到就是限速45公里，只有在最近一米的时候，才看到是STOP。所以，当神经元网络乘数越高，放大乘数越强，在开放训练时就越容易数据污染。这是目前人工智能内生安全需要集中解决的。

杨小牛：网络安全问题是长期的事情，所以需要大家不断地努力，共建晴朗的网络空间。

人工智能等新技术带来了新的安全问题。美国国防部于2017年4月26日，专门成立了跨部门的特别小组，来研究算法战，因为人工智能最重要的就是算法，比如无人作战平台、目标识别、威胁情报分析等。从公开资料看，算法战并没有说要研究算法博弈问题，但既然将之称为算法战，也就是说这是一种作战形态，肯定都存在攻防双方的博弈。以后，我们无论是研制出来的机器人还是各种目标的识别算法，都可能面临对抗博弈的环境，由此带来的安全问题可想而知。特别是生成式对抗网络的出现及其广泛应用，使得人工智能领域的对抗博弈會更加白热化，需要引起大家的足够重视。