孙磊， 孙淑昕， 王博文， 任贺贺， 彭辉

（1. 中国矿业大学 信息化建设与管理处，江苏 徐州 221116；2. 中国矿业大学 信息与控制工程学院，江苏 徐州 221116；3. 兖州煤业股份有限公司 济南煤炭科技研究院分公司，山东 济南 272100；4. 中国银行股份有限公司徐州分行，江苏 徐州 221116）

0 引言

第四次工业革命促使矿业生产向安全、智能、生态转型，5G、大数据、人工智能、物联网、遥感探测等新技术为矿山数字化、智能化运行提供了技术支撑。王国法等[1]针对我国煤矿智能化发展现状，提出了“一朵云＋一张融合网＋三级平台＋N个应用模块”的智能化煤矿建设总体技术架构，通常在大型煤矿集团建设综合数据交互中心，各矿业公司建设二级数据交互中心，生产煤矿则建设三级数据中心。当前煤矿智能化建设大多关注智能掘进、智能采煤、智能主辅运输、智能通风、智能排水与供电、智能安全监控等业务模块，对智能化相关软件开发、大数据中心建设、智能化综合管控平台建设等[1]，特别是工业生产网络及数据中心的网络安全问题重视不够。

震网病毒能破坏矿业、化工、发电等企业的核心生产控制软件，通过病毒、分布式拒绝服务（Distributed Denial of Service，DDOS）方式攻击服务器，窃取商业机密、生产信息等，对企业造成网络安全事故和经济损失，如2019年3月，委内瑞拉电力系统遭受网络攻击，陷入瘫痪。煤炭产业作为我国能源安全的关键基础保障，煤矿企业能否正常生产运行直接关系到国计民生，因此保障煤矿企业数据中心的网络安全成为当前亟需解决的问题。

煤矿企业数据中心网络安全设备目前大多采用串行部署方式，存在单点故障、链路瓶颈、运维耦合等问题。针对上述问题，本文采用软件定义网络（Software Defined Network，SDN）安全服务链技术，设计了安全设备并行部署方式，以解决煤矿生产过程中安全设备单点故障问题，实现网络资源灵活调度、设备升级迭代优化等。

1 煤矿企业数据中心网络安全设备部署方式

随着煤矿智能化升级，在云-边-端协同体系框架下，各类安全监测系统、生产远控系统和APP管控平台等上线，其稳定性均依赖于“煤矿大脑”-数据中心的稳定运行和数据安全。为防范网络攻击，保证数据中心安全，煤矿企业通常在数据中心出口以串行方式部署相关的网络安全设备，如防火墙（Firewall）、入侵防御系统（Intrusion Prevention System，IPS） 、Web应用防护系统（Web Application Firewall，WAF）等，如图1所示。

图1 煤矿企业数据中心网络安全设备串行部署方式Fig. 1 Serial deployment mode of network security equipment of data center in coal mine enterprise

煤矿企业数据中心的安全设备串行部署方式存在以下问题：① 当数据中心受到网络攻击或安全设备发生单点故障时，会影响整个网络通信。② 在网络运行过程中，所有流量需经过每台安全设备，处理能力不足的设备会成为整个链路的瓶颈。③ 网络设备之间耦合大，扩展设备或更改服务时，需手动调整网络安全设备的策略，无法进行快速服务调整，至少需中断2 h才能排除故障。实际上，由于煤矿企业现场信息安全和网络安全方面的专业人员不足，可能需要更长的运行恢复时间，影响了煤矿正常运行。针对上述问题，本文采用SDN安全服务链技术予以解决。

2 煤矿企业数据中心网络安全服务链设计

2.1 SDN安全服务链

传统的安全服务链是指网络流量按照业务逻辑要求的既定顺序经过安全设备的路径，与网络结构紧密耦合，遇到问题很难快速定位。SDN是一种数据转发与控制平面分离、集中控制、开放接口的新型网络架构，可与网络功能虚拟化（Network Function Virtualization，NFV）紧密结合，实现网络设备的高效管理和编排。SDN主要特点：① 可编程，为用户提供全体系的应用程序接口（Application Program Interface，API），使用户在控制器上编程即可实现对网络的配置、控制和管理。② 数据转发与控制平面分离，二者通过OpenFlow协议接口相互通信。③ 逻辑上集中控制，控制器收集和管理所有网络状态信息，并根据业务需求进行资源全局调配和优化，为网络自动化管理提供可能性[2-3]。

SDN安全服务链将SDN和NFV紧密结合，为安全服务部署提供了新的模式。NFV将服务功能从专用硬件设备中解耦，网络服务由虚拟网络功能完成，通过定制所需的服务链，实现动态、灵活的安全服务功能按需组合。根据安全需求管理和控制安全服务功能的行为，将服务功能链（Service Function Chaining，SFC）集成到网络安全功能接口（Interface to Network Security Functions，I2NSF）架构中，指定所需的安全服务类型组合，最终形成并行结构的SDN安全服务链。

2.2 煤矿企业数据中心SDN安全服务链

采用SDN安全服务链后，煤矿企业数据中心网络安全设备旁路部署在安全服务链上，所有的安全设备仍是服务节点，部署方式由原有的串行结构变成并行结构，如图2所示。物理拓扑上串入1台SFC交换机，其他服务节点接入SFC交换机。SDN 控制器作为集中控制设备，对所有接入SFC交换机的设备及经过SFC交换机的流量进行控制，通过配置实现与拓扑无关、灵活的SDN安全服务链。

图2 煤矿企业数据中心网络安全设备并行部署方式Fig. 2 Parallel deployment mode of network security equipment of data center in coal mine enterprise

在网络安全设备并行部署方式下，SDN安全服务链可根据安全设备的健康状况，灵活地调整服务路径。当单个或多个安全设备出现故障或无法正常提供服务时，SDN安全服务链自动更新一条无故障设备作为服务节点的新安全服务路径，并发出告警，极大地提高了链路的稳定性及可靠性。当安全设备需要升级时，仅需将待升级设备移出服务路径，完成升级后再纳入服务路径，升级过程中无需改动任何线路。当需要增加新的安全设备时，只需通过SDN控制器下发新的服务链策略，即可将新设备加入网络中。总体来说，网络安全设备的上下线对用户来说完全无感知，大大降低了用户访问煤矿企业数据中心资源时出现中断的概率[4-6]。

3 SDN安全服务链测试

3.1 测试环境

针对大型煤矿集团典型应用场景，搭建了数据中心SDN安全服务链测试环境，在企业园区数据中心出口部署Firewall，WAF等安全设备，如图3所示。在不改变数据中心和园区网之间双链路部署方式的情况下，考虑到单台SFC交换机可能会引起单点故障等因素，部署2台SFC交换机、1台SDN控制器，其中SDN控制器用于管理、控制SDN安全服务链，Firewall和WAF并行部署在2台SFC交换机之间。

图3 SDN安全服务链测试环境Fig. 3 Test environment for software defined network（SDN）security service chain

数据中心出口的所有流量均经过SDN安全服务链进行流量调度，虽然Firewall，WAF分别只有1台物理设备，但为了防止发生各种单点故障，通过SDN安全服务链将Firewall，WAF分别虚拟为2台物理设备，实现SDN安全服务链负载均衡，保证在任何设备或端口出现故障时，园区网访问数据中心的流量保持畅通[7-9]。

3.2 SDN控制器配置

将2台SFC交换机定义为左右安全服务链，左右安全服务链各自通过eth-0-1接口与园区网核心交换机连接，通过eth-0-9接口与数据中心核心交换机连接；2台虚拟Firewall分别定义为FW[1]，FW[2]，其中FW[1]连接左安全服务链的eth-0-3和eth-0-4，FW[2]连接右安全服务链的eth-0-3和eth-0-4；2台虚拟WAF分别定义为WAF[1]，WAF[2]，其中WAF[1]连接左安全服务链的eth-0-7和eth-0-8，WAF[2]连接右安全服务链的eth-0-7和eth-0-8，如图4所示。

图4 SFC交换机定义及设备连线Fig. 4 Definition of service function chaining（SFC） switch and equipment connection

在逻辑上建立2条安全服务链策略：① 优先级为6（优先级越高，则越优先）的SFC聚合策略，使流量正常通过FW[1]，FW[2]，WAF[1]，WAF[2]。② 优先级为1的SFC-1NO，SFC-2NO逃生策略，当FW[1]，FW[2]，WAF[1]，WAF[2]同时出现问题时，停用SFC聚合策略，启用逃生策略（所有进出数据中心的流量不再经过安全设备，直接通过左右安全服务链的eth-0-1，eth-0-9转发）。

安全设备健康检测配置如图5所示。SFC交换机通过互联端口每2 s向FW[1]，FW[2]，WAF[1]，WAF[2]发送健康检测报文，对其进行状态检测，如连续发送5次未获得某安全设备的回复报文，则判定该安全设备故障、端口故障或线路故障，直接跳过该安全设备，流量从正常回复健康检测报文的安全设备转发[10-12]。

图5 安全设备健康检测配置Fig. 5 Health inspection disposition of safety equipment

3.3 安全服务链策略测试

园区网核心交换机去往数据中心的流量随机到达左右安全服务链，SFC聚合策略下测试流量走向，结果如图6所示。以左安全服务链为例，其先通过eth-0-3接口将流量送至FW[1]的1号接口，经FW[1]检测后，通过FW[1]的2号接口送至左安全服务链的eth-0-4接口；左安全服务链再通过eth-0-7接口将流量送至WAF[1]的1号接口，经WAF[1]检测后，通过WAF[1]的2号接口送至左安全服务链的eth-0-8接口；左安全服务链最终通过eth-0-9接口把流量送至数据中心核心交换机。右安全服务链流量走向与此类似。

图6 SFC聚合策略测试结果Fig. 6 Test results of SFC polymerization strategy

当SFC聚合策略停用时，自动切换至逃生策略。逃生策略测试结果如图7所示。此时流量不再经过FW[1]，FW[2]，WAF[1]，WAF[2]，直接经2台SFC交换机转发去数据中心。同时，去往数据中心的测试ping包无丢包现象，实现了用户无感知切换。

图7 逃生策略测试结果Fig. 7 Test results of aggregation strategy

当SFC聚合策略再次被人工启用后，安全服务链策略自动切换至SFC聚合策略，该过程中测试无丢包，流量恢复从FW[1]，FW[2]，WAF[1]，WAF[2]转发。

3.4 安全设备异常测试

为验证SDN安全服务链极限异常处理能力，人工关闭左安全服务链的eth-0-3接口来模拟FW[1]异常，人工关闭右安全服务链的eth-0-7接口来模拟WAF[2]异常，如图8所示。

图8 FW[1]，WAF[2]异常模拟Fig. 8 Simulated FW[1], WAF[2] abnormalities

FW[1]异常时左安全服务链流量处理过程（①-⑨）如图9所示。可看出从园区网核心交换机到达左安全服务链的流量先通过左安全服务链eth-0-23接口的生命线到达右安全服务链的FW[2]进行分析处理，之后由右安全服务链通过eth-0-23接口的生命线返回左安全服务链的WAF[1]进行分析处理，最后转发至数据中心。

图9 FW[1]异常时左安全服务链流量处理过程Fig. 9 Traffic processing process of left security service chain when FW[1] is abnormal

WAF[2]异常时右安全服务链流量处理过程（①-⑧）如图10所示。可看出从园区网核心交换机到达右安全服务链的流量先由右安全服务链正常转发到FW[2]进行分析处理；因右安全服务链上的WAF[2]异常，流量经FW[2]处理后，通过右安全服务链eth-0-23接口的生命线到达左安全服务链上的WAF[1]进行分析处理；之后通过左安全服务链的生命线返回右安全服务链，最后转发至数据中心。

图10 WAF[2]异常时右安全服务链流量处理过程Fig. 10 Traffic processing process of right security service chain when WAF[2] is abnormal

因FW[1]，WAF[2]异常，园区网去往数据中心的流量只经过FW[2]，WAF[1]，如图11所示。在整个测试过程中，FW[2]，WAF[1]转发流量时无丢包，这对用户体验来讲，实现了无感知切换。

图11 FW[1]，WAF[2]异常时FW[2]，WAF[1]转发流量情况Fig. 11 Forwarding traffic by FW[2] and WAF[1] when FW[1]and WAF[2] are abnormal

4 结论

（1） 针对煤矿企业数据中心网络安全运行维护方面的实际问题，采用SDN安全服务链技术，将生产网络和数据中心之间的安全设备部署方式由串行转变为并行，由SFC交换机定期向安全设备发送检测报文，探测安全设备健康状况，根据配置自动跳过故障服务，在保障业务正常运行的同时发出告警信息，避免单点故障带来的问题，实现安全设备无感知上下线。

（2） 通过场景平台运行测试，验证了煤矿企业数据中心网络安全服务链技术支持可视化灵活调度安全服务资源，可按需启用/停用服务链上安全服务或配置不同优先级的服务链，为煤矿企业数据中心安全防护提供可靠保障。

（3） 随着煤矿企业数据中心规模化建设推进和各类APP应用上线，煤矿生产、管控各环节的智能化系统和应用将面临更多的网络威胁和攻击。因此，煤矿企业应加大网络安全设备投入和人员技能培训，以保障煤矿生产网络安全。