禄 凯 程 浩 刘立峰

1(国家信息中心信息与网络安全部 北京 100045) 2(华为技术有限公司 北京 100095)

1 云安全监测背景

1.1 云平台的特点和架构

随着数据中心业务的发展，传统数据中心面临着业务扩展性差、资源利用率低、管理效率低等诸多问题.为了应对传统数据中心面临的挑战并顺应技术发展趋势，业界普遍采用云计算的解决方案.

通过云平台的虚拟化技术，达到多个数据中心融合、提升企业整体IT效率的目的.并基于此，发挥云计算虚拟化的可靠性、可用性、安全性、开发性、先进性、可扩展性6个特点，提供计算、存储、网络、安全、灾备、大数据、数据库和平台即服务(platform as a service, PaaS)等丰富的云服务，满足政府、金融、能源、教育、医疗等行业的数据融合与资源共享，支持业务的持续发展.

1.2 云平台面临的安全风险

租户在享受云计算带来便利性的同时，对其自身的安全性也存在疑虑.如何保障租户业务和数据的机密性、完整性和可用性成为云计算系统急需解决的课题.

网络安全等级保护2.0[1-4]规定：“国家网络安全工作规划是：一个中心，三重防护，即安全管理中心、安全通信网络、安全区域边界、安全计算环境”.[5]一个中心主要包括系统管理、审计管理、安全管理和集中管控4个控制点，其中集中管控是重中之重，主要都是围绕它来展开.因此，云平台需要建设安全监测中心，统一监控和管理基础设施、租户业务子网、云服务等存在的风险，保护边界和计算环境的安全.

云安全联盟(CSA)在《云计算的顶级威胁：深度分析》[6]中指出：云平台威胁不仅来源于外部攻击还有VPC内部威胁，如数据破坏、数据丢失、账户劫持、不安全的API、拒绝服务、内部人员恶意行为、资源滥用和恶意使用、审计不足、共享技术的漏洞等.需要从脆弱性、技术和业务影响以及威胁检测等方面控制和预防此类威胁的再次发生.

因此，云安全监测重点关注VPC内部的安全风险，诸如核心资产和应用的防护缺失，内部权限制高点被轻易夺取，网络安全防护缺乏纵深，边界突破后导致内部漫游，弱口令、复用口令普遍存在造成系统被破解登录，已公开漏洞未及时修补成为攻击突破口等.

1.3 云安全监测的重点和难点

为应对上述风险，业界普遍采用统一安全策略、威胁检测、纵深防御等安全措施.Gartner在《2019年7大新兴的安全和风险管理趋势》中指出：云平台安全应从威胁防御向威胁检测转变，到2022年50%安全运营中心(security operations center, SOC)应具备事件响应、威胁情报和威胁检测能力[5,7-8]，而2015年这一比例不到10%.

主流云计算厂商(如Azure、AWS、阿里云、华为云、H3C、浪潮云等)纷纷推出SOC服务增加威胁检测能力，但普遍基于边界的威胁检测，很少涉及云平台VPC内部的威胁检测.

攻击者往往从内部虚拟资源入手，进而渗透到云平台的业务系统.因此，云安全监测应在边界安全的基础上重点监测VPC内部风险.

VPC内部安全监测的难点在于内部流量较大难以检测、加密流量难以识别、VPC监测可视化能力不足、威胁难以取证4个方面：

1)内部流量较大难以检测.租户业务复杂，VPC内东西向流量较大(约为VPC业务网出口流量的10倍)且互访频繁，如果在租户VM上检测，不仅大量占用CPU、内存等资源，而且无法检测横向渗透等攻击，严重影响租户业务的正常运行.

2)加密流量难以识别.VPC内部的访问滥用、非法提权、恶意攻击等违法违规行为隐匿在正常业务系统的加密流量中，难以识别，极大地增加了云平台的合规风险.

3)VPC监测可视化能力不足.缺乏面向VPC的态势感知、风险评估、统计报表等.

4)威胁难以取证.由于威胁类型众多且关系复杂，人工取证非常依赖专家经验，难以识别威胁的整个攻击过程并及时作出决策.

2 云安全深度监测方法研究

2.1 VPC安全监测方法

我们深入分析云安全监测在IPDRR[9]各阶段工作内容，创新性地提出以大数据、AI、SOAR[10-11]、可视化、自动化技术为核心的2级监测闭环模型，建立云安全纵深监测体系，解决VPC内部监测重点和难点.

1)识别(I)阶段：识别VPC资产的漏洞、弱口令、重复口令等脆弱性，评估风险和优先级.

2)防御(P)阶段：实时监测和分层保护VPC的核心资产，采取有效的防御措施，增加被入侵的难度.

3)检测(D)阶段：分级检测VPC内部、VPC之间的威胁，再进行关联分析，形成完整的攻击链.

4)响应(R)阶段：统一进行事件分析，编排取证策略，分级联动VPC内部和VPC之间的设备、云服务等自动化取证.

5)恢复(R)阶段：云平台采取加固措施，修复VPC之间的设备、云服务的漏洞，保证云环境的安全；租户利用云服务修复自身的漏洞、弱口令等，保证其业务系统的安全.

云安全纵深监测体系的核心是2级监测闭环，在VPC之间建立威胁检测、事件分析、策略编排、联动取证的监测大闭环，在VPC内部建立威胁检测和联动取证的监测小闭环，实现大、小闭环分层监测和级联响应，如图1所示：

图1 2级监测闭环模型

在VPC内部，运用AI边缘检测技术、加密流量检测技术识别内部威胁，解决内部流量较大难以检测、加密流量难以识别的难点.

在VPC之间，采用分层监测与自动化取证技术解决VPC监测可视化能力不足、威胁难以取证的难点.

2级监测闭环模型的特点可以概括为充分运用AI、可视化、自动化的优势，达到80%检测规则通过自学习生成，云网安协同联动，威胁检测与取证时间(time to repair, TTR)中位数达到分钟级.

2.2 云安全监测系统架构

根据云安全纵深监测体系和2级监测闭环模型可知，云安全监测系统按照监测中心、VPC内部监测、VPC之间监测3个阶段建设.

第1阶段：在云平台建设云安全监测中心，具备大数据存储和治理、AI引擎、事件分析、风险评估、策略编排等功能，为VPC监测提供能力支撑.

第2阶段：建设VPC内部安全监测，具备VPC内部的流量和日志数据采集、AI边缘检测、自动化取证等能力.

第3阶段：建设VPC之间安全监测，具备VPC之间威胁检测和自动化取证能力，并与VPC内部监测形成协同联动.

云安全监测系统分为数据采集、安全分析、态势展示3个模块，系统架构如图2所示：

图2 云安全监测系统架构

1)数据采集模块采集资产、日志、漏洞、流量数据，并进行数据治理，与云平台紧密集合，实现采集无感知、业务无影响.

2)威胁分析模块检测威胁并关联分析，识别渗透、C&C、横向移动以及数据窃取等常见攻击，结合威胁情报、知识图谱对复杂攻击过程及攻击目标溯源.

3)态势展示模块综合呈现VPC内部和VPC之间的安全态势，并对事件进行分析、通报预警、取证等.

2.3 关键技术

云安全监测系统中涉及到数据采集、威胁检测、态势呈现、闭环响应等众多大数据和AI技术，根据云安全监测过程中的重点和难点可知，VPC内部AI边缘检测、加密流量检测、VPC可视化监测、自动化取证是在系统实现过程中的关键技术：

1)VPC内部AI边缘检测

VPC内部多为东西向流量，访问方式较为复杂，可简要分为同一个宿主机(host)上VM之间访问流量和不同host上VM之间访问流量.以OpenStack平台为例，平台采用Open vSwitch虚拟网络驱动方式，同一个host上VM之间流量不会经过host物理网卡，而是通过Open vSwitch的虚拟交换机连接，不同host上VM之间流量虽然经过host物理网卡，但不直接与核心交换机相连，所以在核心交换机采集VPC内流量的方案不可行.因此，在vSwitch旁部署虚拟探针采集流量成为可行性方案，要求具备可维护性，提供可视化操作界面，按需部署虚拟探针，随时调整VM流量采集策略.

VPC内东西向流量比较大，系统间互访频度高，如果采用在VM上部署Agent引流到云平台的检测方案，流量采集时会出现源和目的VM流量重复的情况，导致镜像流量约为原始流量的2倍，造成VPC出口网络带宽3倍压力，影响租户业务正常运行，所以Agent引流方案不可行.因此，在VPC内虚拟探针处流量去重，并进行AI边缘检测成为可行性方案，要求具备稳定性，虚拟探针消耗host的CPU(峰值)小于10%，消耗VPC业务带宽(峰值)小于5%.具体方案如图3所示：

图3 AI边缘检测技术方案

云安全监测系统充分运用AI技术识别VPC内部的高级威胁，在虚拟探针内置AI边缘检测引擎对VPC内部流量检测，将检测结果(如安全事件、样本、上下文信息等)上传至云安全监测系统再进行2次关联分析.上传的数据量为原始流量的5%，基本不占用VPC的带宽资源，不影响租户业务正常运行.AI边缘检测技术原理如图4所示.

图4 AI边缘检测技术原理

AI边缘检测由入侵检测(IPS)、文件检测(AV)、边缘高级威胁检测(AIE)3部分组成，秒级准确识别已知、变种和未知攻击，检测准确率达95%以上：

① 运用有监督AI技术训练海量样本生成威胁特征，下发到IPS中，高效识别IP报文中的已知威胁.

② 运用AI模型结合情报训练海量文件生成文件签名，下发到AV中，识别IP报文中的恶意文件.

③ 运用无监督AI技术结合专家经验生成无监督的AI检测模型，下发到AIE中，识别流量中的未知威胁.

2)加密流量检测

随着社会IT化进程不断提升，租户对信息隐私保护越来越重视，VPC内业务系统访问的流量普遍进行加密处理.同时，恶意人员和黑客的违法违规行为也隐匿其中，难以识别.

恶意加密流量检测一直是业界痛点，目前主流的检测手段分为解密检测、特征检测2种.解密检测技术一般用在网关等设备，这种检测技术对资源和性能消耗非常大，并违反了流量加密的初衷，造成流量吞吐慢、网络延迟、隐私安全等问题，成本也非常高，不能用在大流量的检测场景；特征检测技术无需解密，通过对流量的分类和特征的学习识别恶意流量，非常适合VPC内部的检测场景.

云安全监测系统采用ECA(encrypted communication analytics)加密流量检测技术，针对加密流量之前的握手信息、加密流量的统计信息以及加密流量的背景信息，利用机器学习算法训练模型，对正常加密流量和恶意加密流量进行分类和识别，发现隐藏在加密流量中的恶意通信.ECA最核心的功能是利用加密协议(TLS协议)的C&C流量检测，原理如图5所示：

图5 加密流量检测技术原理

3)VPC可视化监测

VPC可视化监测是云安全监测的核心能力之一，帮助用户对VPC的安全态势一目了然，实时监控风险和事件，并有效作出决策.云安全监测系统运用可视化技术提供监测大屏和自定义统计报表功能，对VPC内部和VPC之间的态势、风险、事件等分层实时监测.

VPC之间主要监测整体风险和趋势以及每个VPC风险，实时关注VPC之间的安全事件、威胁源、受害者、攻击链路，点击某个VPC可以下钻到内部.

VPC内部主要监测内部的风险及趋势以及资产风险，实时关注VPC内部的安全事件、威胁源、受害者、攻击链路.

4)自动化取证

随着网络安全攻防对抗的日趋激烈，网络攻击具备高复杂和高隐蔽性，事件取证流程消耗大量的人力资源，严重降低了运维效率.

自动化取证运用SOAR技术整合不同的数据集和安全设备，实现威胁的取证、溯源自动化闭环.在事件分析过程中，通过图形化的编排界面和灵活的编排引擎编写剧本(Playbooks)，形成丰富的案例集；在系统发现威胁时，自动匹配相似的案例，与HSS、微分段、VFW、WAF、边界FW、DDoS等设备，云服务联动，执行指定的取证动作.

以恶意C&C检测取证场景为例，系统根据预置的Playbooks对接云端智能中心查询IP情报，对接终端EDR查询进程，对接沙箱查询文件检测结果，根据这些取证信息判断事件真伪.

3 云安全监测应用实践

3.1 典型应用部署

以某云计算客户为例，云安全监测系统部署在云平台管理区，虚拟探针部署在租户资源池内host上，采集VPC内部和VPC之间的流量，联动云服务自动化取证.云安全监测系统逻辑部署方案如图6所示.

图6 云安全监测系统逻辑部署

3.2 云安全监测实践

某客户部署云安全监测系统后，经监测发现，租户已停用的业务系统违规未及时下线，攻击者利用VM上存在的漏洞和弱口令登录云桌面，再渗透到租户业务系统，在VPC内部发起C&C、远程代码执行等攻击.监测过程如下：

1)VPC内部流量采集

运维人员使用云ECS服务在host上部署虚拟探针，按需采集VPC内部的VM流量.经验证，VPC内部流量成功采集，并通过云专线上传至云安全监测系统，基本不占用VPC业务网络带宽，不影响租户业务的正常运行.

2)VPC内部威胁检测

在VPC内部，运用AI边缘检测技术对VM流量实时检测，成功发现恶意加密C&C事件，并上报至云安全监测系统.经验证，VPC内部典型威胁事件秒级检测，准确率达95%以上.

3)VPC之间的威胁检测

在VPC之间对互访流量实时检测，成功发现ThinkPhP远程代码执行攻击事件，并上报至云安全监测系统.经验证，VPC之间典型威胁事件秒级检测，并与VPC内部威胁事件关联分析，准确率达95%以上.

4)事件分析

运维人员收到告警提醒后，登录到云安全监测系统，在安全运营界面查看事件信息，并根据取证结果，对事件进行聚合分析、关联分析等.系统根据预置的取证Playbooks，自动化联动威胁情报、云服务、安全设备获取事件的证据，辅助运维人员分析.经验证，事件分析耗时均值由4h缩减至30min，并大幅降低运维人员的安全分析门槛.

5)实践效果展示

云安全监测系统提供态势大屏实时监测VPC的安全态势和风险变化趋势，帮助安全管理者有效决策.经验证，安全风险和事件多维度统计、秒级展示，大幅降低管理者的决策时间.

4 总结与展望

随着云计算的发展和租户业务的不断增长，VPC内部的违法违规、内部攻击等威胁严重影响云平台的安全合规，急需将VPC内部的安全监测工作纳入云平台管理的核心工作之中.

本文推荐2级监测闭环的创新性方案，运用AI边缘检测、加密流量检测、可视化监测、自动化取证等技术成果，解决云平台当前面临的VPC安全监测的重点和难点，具备较高的研究和推广价值.

最后，通过云安全监测中心的建设，满足安全合规要求，统筹资源、技术、人员，监控全网安全态势和趋势，掌握攻击轨迹和弱点分布，实施主动的纵深监测策略，帮助客户完成云安全监测工作，共筑安全可信的云计算环境.