廖 明（国家计算机网络应急技术处理协调中心四川分中心，四川成都610074）

0 前言

为加强技术手段建设，实时监测成都国家级互联网骨干直联点的网间通信质量，四川省通信管理局按照工业和信息化部《国家通信网互联互通监控中心互联网监测系统技术要求》，组织编制《四川省互联网监测管理可行性研究报告》，并于2014年8月5日上报工业和信息化部审查，工业和信息化部于2014年12月8日印发《关于四川省（成都）国家级互联网骨干直联点监测系统建设工程项目建议书（代可行性研究报告）的批复》（工信部规函［2014］563号）：“同意建设主动监测子系统、被动监测子系统、宽带测速子系统和监控中心子系统，实现成都直联点互联链路性能监测、网络运行安全监测、网间不规范路由监测、过网流量流向及业务监测、端到端网络通信性能监测、端到端业务访问质量监测、网间通信障碍责任判定测量等功能”。一套较为科学、系统、全面的互联网骨干直联点监测系统，对成都骨干直联点建设和发展发挥着基石和加速器的作用，是巩固成都国家级通信枢纽地位，实时监测分析网间通信质量，确保网间通信畅通，保障成都骨干直联点安全高效运行的有力技术手段。

1 建设分工界面

从监测系统的可扩展性、可维护性出发，梳理确定监测系统的建设维护分工界面。

1.1 省通信管理局负责建设主要内容

监测系统的软硬件及主机房装修、空调、-48 V直流电源系统、动力环境监控等配套设备的安装、调测及功能运行。

主动监测子系统/宽带测速子系统的服务器软件安装、调测及功能运行。

1.2 基础电信企业负责建设主要内容

主动监测子系统/宽带测速子系统的服务器硬件；被动监测子系统配套的分光器、光放大器等。监测系统主机房的OTN传输设备、光配线架、直流电源头柜、入局光缆等。

把成都骨干直联点互联链路割接、分光彩集及传送到监测系统主机房的光配线架上。主动监测子系统/宽带测速子系统服务器到监测系统主机房光配线架上的链路调通、调测和上线运行。

提供企业省内公众互联网IP地址段表、链路端到端路由表、互联链路备案表等数据。

2 系统总体架构

监测系统采用B/S架构，提供Web展示界面，实现对用户信息、角色、权限、系统参数、基础数据、监测系统设备信息和管理日志等配置。向用户提供资源、设备管理、维护、任务定制、下达和控制等功能。提供统一的监控视图，采用数据挖掘技术，提供数据对比分析和趋势分析功能。

a）门户。门户向用户提供统一的平台及展示界面，监测系统分析处理工作人员通过监控中心门户进入各类业务监测功能模块，进行业务的监测、分析等处理。

b）应用系统。应用系统在信息安全防护体系和管理体系基础上，依托数据采集、分析层所提供的数据，由基础功能平台支撑并运行。

c）数据分析层。数据分析主要对监测到的数据、宽带用户的测试数据、网络安全事件等数据进行分析，最终将分析的结果提供给各子系统进行展现。

d）数据库层。数据处理主要是对采集到的链路性能质量、网络质量、网络速率、网络安全事件等数据进行加工处理形成统一的数据库。

e）数据采集层。数据采集层主要是通过分光器、采集服务器、接口对接等设备，采集链路性能质量、网络质量、网络速率、网络安全事件等相关重要数据。

f）基础设施层。基础设施层主要搭建各子系统硬件设施，包括网络、服务器、存储、安全等设备。同时在互联单位部署相关的分光器、采集服务器等设备进行数据采集。

监控中心系统作为整个互联网骨干直联点监测系统的数据中枢，采用“分层+分区”的思路进行其网络架构的设计。监控中心系统网络划分为核心层与汇聚层，其中汇聚层将传统的汇聚层与接入层进行整合，汇聚层交换机承担接入层与汇聚层的双重工作，实现扁平化的网络架构，降低网络复杂度，简化网络拓扑，提高转发性能。根据监控中心系统应用与管理的不同需求，利用防火墙和核心交换机对监控系统各功能区域进行逻辑划分，主要分为数据中心区（含应用接口服务器区、数据存储区、管理维护区）、Web门户区、网络安全区等。

3 系统建设方案

3.1 应用系统功能整体架构设计

应用系统功能架构如图1所示。

3.1.1 主动监测子系统

主动监测是在网络中通过主动监测服务器发起探测数据，并对测试数据的转发情况进行统计分析的一种测试方法。主动监测子系统根据监测范围不同分为骨干网主动监测、城域网端到端主动监测2个子系统。

a）在四川电信、四川移动、四川联通骨干网机房骨干互通路由器侧配置一台主动监测服务器，此服务器放置在监测系统监控中心机房，通过企业配套传输系统与互联边界路由器连接，实现对骨干网及互联链路性能的监测。数据流向为：骨干路由器/互联边界路由器↔传输网络↔监控中心骨干网主动监测服务器↔路由器↔数据核心交换区↔主动接口服务器。

b）在各市（州）各互联单位城域网机房部署主动监测服务器，实现到其他省性能监测、省内网内/网间网络质量及业务质量监测、省内网络架构、网站架构相关分析以及用于宽带测速，此63台主动监测服务器由各互联单位按照要求自行投资采购配套。数据流向为：城域网主动监测设备↔各互联单位城域网/数据专网↔传输网络↔路由器↔数据核心交换区↔主动接口服务器。

综合考虑城域网端到端主动监测数据的可复用性和数据安全性，要求城域网主动监测服务器对城域网端到端主动监测数据进行本机存储，存储周期至少达到半年。

图1 应用系统功能整体架构

3.1.2 被动监测子系统

被动监测是一种由流量/协议分析设备或软件在网络中对流量或协议的交互过程进行捕获及分析的手段。

被动监测子系统通过旁路分光彩集互联链路的流量，对流量进行细粒度的测量，提取和记录不同网络层次的网络流元数据；然后根据用户的需求，从不同维度对微观、细粒度的网络流元数据进行统计聚合，从而实现对宏观、粗粒度的质量指标的精确测量。

3.1.2.1 部署方式比较

由表1可知，集中部署的缺点是占用传输带宽较高，但是由于本项目各互联单位配套建设了骨干互通路由器机房到监测系统监控中心机房的传输系统，不需要额外投资，且集中部署具有节省设备数量和机房监测设备采用集中部署的方案。

3.1.2.2 被动监测设备比较

目前市场上被动监测设备主要采用2种方案，一是使用汇聚设备，然后将流量分散给多台服务器进行监测分析，以单台处理10G流量能力的服务器计算，如果采集180G互联带宽，由于采集的流量是双向的，相当于最大360G流量，考虑带宽利用率，至少需要30余台采集服务器，且每台服务器也需要安装特殊的采集板卡，故在投资成本上并不具备绝对优势。二是采用流量采集分析大型设备，一般来说此设备可以通过安装多块采集板卡实现大流量的采集，以单台处理200G流量能力计算，本项目只需2台设备即可。

表2示出的是被动监测设备比较。

本项目采用支持大流量采集分析设备，即接口承载板、大容量交换板以及多核应用处理板高密度集成，所有采集分析工作在一个机箱内完成。

表1 被动监测子系统部署方式比较

表2 被动监测设备比较

四川电信、四川联通、四川移动配套提供分光器、光放大器等设备，并通过互联单位配套的传输系统将原始流量传输至监测系统监控中心机房。数据流向为：互联边界路由器↔分光器↔光放大器↔互联单位传输系统↔监控中心被动监测设备↔核心交换机↔被动接口服务器。

在四川电信、四川移动、四川联通等互联单位互联互通机房，通过分光器对每一条互联链路光发方向分出4路信号（采用1∶4分光器，分光比分别为70%、10%、10%、10%），其中一路光信号（分光比为10%）通过光放大器进行功率放大，然后通过互联单位新建OTN传输系统提供的多条10G专线，连接到监测系统监控中心机房的被动监测设备上。

3.1.3 宽带测速子系统设计

宽带接入速率测试需要在城域网部署测速服务器，由于该系统已在城域网端到端主动监测采集子系统中部署了主动监测服务器，且由于测速服务主要对带宽需求较高，已部署的主动监测服务器性能满足测速需求，该项目考虑共用。

根据各互联单位或其他服务商提供的各市（州）各种签约带宽的比例发展友好用户，用户通过下载客户端软件并安装在电脑上、手机上使用并测试。通过收集大量采集样本进行多维度的统计分析。

3.2 数据处理和存储以及备份系统设计

该工程所需数据处理、存储和备份功能由监控中心系统数据中心承载，主要为主动监测子系统、被动监测子系统、宽带测速子系统、企业数据采集子系统提供数据汇聚、清洗、转换、存储、应用处理，并运用相关性分析、多元分析等数据综合分析方法，得到网络质量、业务质量、运行监测等综合性能指标。

3.3 系统安全设计

3.3.1 系统安全设计思路

主要从网络安全、系统安全、数据库安全、数据安全等4个维度进行构建。

3.3.2 网络安全方案

互联网接入安全主要包括以下方面。

a）在监控中心机房的互联网接入路由器上配置访问控制列表及安全加固，对常见网络攻击进行基本防护。首先，应该在路由器上禁用一些不需要的服务，例如IP路由选择、代理ARP、http server等；第二，为路由器配置强口令，口令需要至少8个字符长，口令中需包含大小写字母、数字及特殊符号，并且确保每3个月更换一次；第三，禁用telnet服务，使用较安全的SSH作为维护连接；最后，部署访问控制列表，限制互联网对内网常见攻击端口的访问。

b）在互联网接口处部署防火墙，限制互联网用户对内部服务器的访问。只有访问服务器的请求符合防火墙安全规则后，才能通过防火墙到达内部服务器。

c）在核心网络中部署网络安全关口监测系统，该系统是具备报文检测、流监测、网络异常通信行为分析、恶意代码检测等多种安全监测能力和多源异构数据关联分析能力的一体化网络安全监测系统，通过对关口流量进行监测分析、告警、日志留存、网络审计，可及时发现恶意代码感染、恶意代码传播、网站后门、网页篡改、恶意URL访问、DDoS攻击及恶意网络扫描等网络安全事件，并可通过分析异常通信行为预警未知安全威胁，如APT攻击。此外，该系统支持对历史事件和数据的快速査询和关联分析，从而可对特定网络安全事件进行全程回溯分析，保障重要用户网络安全。

内网安全主要采取以下措施。

a）在核心交换机上开启安全端口功能，使用安全端口，当发现试图连接到交换机的计算机MAC地址与配置的MAC地址不同时，交换机将禁止从该端口输入。

b）将不同服务器划入不同VLAN，并根据访问权限，在交换机VLAN端口上配置ACL，仅允许必要的流量跨VLAN通信，从而限制内部攻击的范围。

c）利用网络安全关口监测系统监视网络流量，进行漏洞扫描，对内网设备全面检查，并对终端漏洞进行实时升级。

d）购买一套防病毒系统，用于保护数据中心系统主机和终端，统一管理网络内防病毒策略定制及升级，自动分发到网络内所有主机和服务器。

网络设备安全加固主要包括如下6方面：账号权限加固、网络服务加固、网络访问控制加固、审计策略加固、恶意代码防范、Bug修复。

3.3.3 系统安全方案

操作系统安全包括账号权限加固、网络服务加固、数据访问控制加固、网络访问控制、口令策略加固、用户鉴别加固、审计策略加固、漏洞加固等。

主机物理安全主要包括以下几方面。

a）限制通过网络对主机的IPMI端口进行访问，为上述端口配置密码，并且在核心交换机上配置访问控制列表，仅允许指定的IP地址访问主机的IPMI端口。

b）将主机安装在有锁的机柜中，并保持机柜在锁定状态。

c）设置屏保密码，并自动锁定主机。

主动监测服务器/测速服务器部署在各互联单位城域网机房，需对服务器做相应的安全加固，包括只开放需要端口，并在iptables中做IP限制。同时需各互联单位做好主动监测服务器在各自网络环境中的安全保护。

在网络安全区部署一套网络关口审计系统进行安全审计，加强对业务系统的审计，并解决带宽滥用、访问非法网站感染病毒等问题，方便事后追查取证。

3.3.4 数据库安全方案

主要包括操作系统安全、账户安全、密码安全、访问权限安全、日志记录、加密、管理员客户端安全、安全补丁。

3.3.5 数据安全方案

主要包括数据加密存储、数据容错存储、数据备份。

3.4 系统告警设计

系统告警主要包括以下功能：告警数据的采集与预处理、告警呈现、告警处理、告警影响分析、告警查询与统计、系统自身管理等功能。

a）告警监测。采用SNMP采集方式，监测系统硬件设备的CPU利用率、内存利用率，磁盘利用率以及进程情况。

b）告警呈现。包括告警流水窗口，拓扑呈现。支持告警确认、告警清除、查看告警详细信息等操作。

c）告警处理。可通过图形参数配置窗口设置告警信息的过滤条件，同时定制相应的内部和外部触发命令，如发E-mail、短信等，实现告警数据的自动响应处理。

d）告警通知。当监测系统设备出现告警时，通过手机、E-mail邮箱等途径，向省通信管理局相关人员进行告警通知。当成都国家级互联网骨干直联点网间互联链路出现通信障碍及带宽利用率大于70%时，增加对四川电信、四川移动、四川联通等单位的维护人员及管理人员的告警通知。告警内容、告警时间等可自动发送到告警接收人员。

4 网络系统设计

4.1 企业配套传输方案

4.1.1 主动监测系统带宽需求

骨干网主动监测：四川电信、四川移动、四川联通3家互联单位的每个互联互通机房（共有3×2=6个）的互通路由器需通过已建设OTN传输系统提供的1条10G专线光路，连接到监控中心的主动监测汇聚以太网交换机上，再连接至主动监测服务器。

城域网端到端主动监测：四川电信、四川移动、四川联通3家互联单位所有部署了城域网端到端主动监测服务器的机房，需对城域网监测服务器提供1个至少1 000M以上的电口或光接口，连接至各互联单位城域网，再通过各互联单位内部网络汇聚，再上联至企业侧OTN传输设备，经传输系统提供的不低于100M带宽的专线链路，连接到监控中心边界路由器。

4.1.2 被动监测系统带宽需求

在四川电信、四川移动、四川联通3家互联单位的每个互联互通机房，通过分光器对每一条互联链路进行分光（可采用1∶4分光器，分光比分别为70%、10%、10%、10%），其中一路光信号（分光比为10%）通过光放大器进行信号功率放大，随后通过新建的互联单位OTN传输系统提供的10G专线光路，连接到监控中心的被动监测系统采集服务器上。

4.1.3 宽带测速系统带宽需求

宽带测速系统监测服务器与主动监测服务器共用，因此链路带宽与城域网主动监测系统链路合设共用。

4.1.4 返迁终端带宽需求

该工程考虑在四川省通信管理局百花办公楼部署监测系统的返牵终端，因此返牵终端通过原有传输网络至各互联单位，经新建OTN传输系统提供的100M业务带宽专线，连接至监控中心系统。

4.2 路由部署方案

外部路由：根据对端的具体情况设置静态路由，通过缺省路由连接各监控中心网络与各互联单位网络。

内部路由：监控中心系统各功能子区均通过2台三层核心交换机进行互联，通过划分VLAN区分不同子系统。系统内部不运行路由协议，所有VLAN间路由由核心交换机执行并进行维护。同时，基于系统可靠性考虑，2台核心交换机所有的VLAN端口配置为VRRP端口组进行冗余保护。

5 结论及评价

5.1 明确责任分工，发挥整体效能

按照监测系统建设时的分工界面，确定与企业的维护界面，从而明确了责任分工，科学合理有序地分配维护资源，发挥相关单位整体效能，提高工作效率和工作质量，有效地防止因系统维护内容重叠而发生的工作扯皮现象。

5.2 设备集中部署，增强系统可靠性

监测系统软硬件集中部署安装在监控中心机房，做到真正的集中管理维护，升级快捷，一致性好，有效降低管理难度，降低IT资源消耗。减少被动监测设备等硬件数量，节约项目投资，降低能耗。有利于快速部署、维护管理，有效降低故障率，缩短故障修复时间，增强系统可靠性。可以很好地实现数据安全以及有效防范病毒。

5.3 部署告警系统，提高工作效率

告警管理系统部署完成后，极大提高系统设备维护人员的工作效率，减轻工作负荷，缩短设备故障处理时间，降低软硬件故障率和维护成本。

5.4 方案设计创新性，具有推广价值

成都国家级互联网骨干直联点监测系统的创新建设，贯彻了工业和信息化部的管理创新思路，从工作实际出发，解决了系统设备集中部署、建设维护责任划分不清所遇到的实际困难，为省通信管理局快速建设监测系统，有效利用监测系统应用功能提供支持，有力支撑服务四川省互联网的统筹发展、高效管理和安全运行，全面推进网络强省建设。

监测系统经过1年的运行，稳定可靠，易于推广使用，能够为其他省（市）通信管理局建设监测系统提供借鉴。