黄富平，梁卓浪，邢英俊，杨春丽

(广州珠江职业技术学院 信息技术学院，广州 511300)

云计算Hadoop平台的异常数据检测算法研究

黄富平，梁卓浪，邢英俊，杨春丽

(广州珠江职业技术学院 信息技术学院，广州 511300)

近年来，随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入，云平台下的数据处理已成为大规模数据的主要处理方式；但是，现有的云计算Hadoop平台在海量数据异常涌入状态下，常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题，造成无法对上述异常数据进行有效检测处理，严重影响云计算Hadoop平台的数据运算准确性；针对上述问题，提出云计算Hadoop平台的异常数据检测算法研究方法；采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决；通过仿真模拟实验证明，提出的云计算Hadoop平台的异常数据检测算法研究方法，具有异常数据识别率高，准确性高，速度快、可实施性强、稳定性好的特点。

云计算；大数据；异常数据；Hadoop平台

0 引言

近年来 ，随着我国互联网技术与建设的飞速发展，网络已成为经济建设过程中必不可少的组成部分。实物数据化运算技术的诞生，标志着大数据时代的到来。在大数据时代下，多种数据的海量处理分析运算，将依托强大的网络传输能力与多架构的云计算Hadoop平台来完成。众多数据在云计算过程中，经常出现数据异常的状况[1-2]。因此，快速有效的检测出这些异常数据，成为提升云计算Hadoop平台运算力的重中之重。……