张利峰 邵斐

摘 要： 采用支持向量机进行网络大数据平台异常风险监测时，建模效率低导致对异常风险的监测结果存在较高的误差，设计基于Hadoop的网络大数据平台异常风险监测系统。依据云计算Hadoop系统作业原理，通过Map/Reduce分布式模式对大数据进行分类筛选等操作，通过控制模块中的SDN控制器对大数据流量进行分流处理，将网络大数据分类反馈到监测模块中，采用监测模块通过预处理端和存储端对异常数据风险进行监测，通过预处理端实现大数据的有效分流监测；系统软件通过最小二乘支持向量机对网络大数据进行高效率建模，实现网络大数据异常监测。实验结果表明，所设计系统具有监测效率和稳定性高、性能佳的优势。

关键词： 网络大数据； 异常风险； 监测系统； 控制模块； Hadoop； 最小二乘支持向量机

中图分类号： TN931+.3?34； TP314 文献标识码： A 文章编号： 1004?373X（2018）22?0143?04

Abstract： When the support vector machine is used to monitor abnormal risks of the network big data platform， the modeling efficiency is low， which leads to high errors of abnormal risk monitoring results. Therefore， an abnormal risk monitoring system based on Hadoop is designed for the network big data platform. According to the operation principle of the cloud computing Hadoop system， the big data is classified and filtered by using the Map/Reduce distribution model. The shunting processing of big data traffic is conducted by using the SDN controller in the control module， so as to feed the network big data in classification back to the monitoring module. The monitoring module is used to monitor abnormal data risks by using the preprocessing terminal and storage terminal. The effective shunting supervision of big data is realized by using the preprocessing terminal. In system software， high?efficiency modeling of network big data is conducted by using the least squares support vector machine， so as to realize abnormality monitoring of network big data. The experimental results show that the designed system has the advantages of high monitoring efficiency， high stability and good performance.

Keywords： network big data； abnormal risk； monitoring system； control module； Hadoop； least squares support vector machine

網络大数据是眼下社会经济发展的主流，但是由于异常风险数据的存在，准确提取大数据受到阻碍 [1]，因此出现网络大数据平台异常风险监测系统。如何通过此系统实现异常风险的有效监测[2]，是当前监测系统设计中的重中之重。传统常用的网络大数据平台异常风险监测系统通常采用神经网络和支持向量机方法进行监测，二者建模和监测的方式是干扰网络大数据平台对异常风险监测的关键因素，异常风险监测的结果存在不稳定性、局限性、效率低等缺陷[3]。

本文设计基于Hadoop的网络大数据平台异常风险监测系统从硬件设计、软件设计两方面阐述对异常风险的监测功能，并与WBT系统和网络仿真技术系统进行监测对比仿真实验。……