孟丽丽+宋锋

摘 要： Web网络中的数据量巨大，传统系统只采用软件或只采用硬件实现Web网络大数据分类系统的设计，所需消耗的系统资源较多，处理时间长，配置与管理不灵活，无法满足实时性的要求。为此，设计一种新的Web网络大数据分类系统，采用软硬件相结合的形式对Web网络大数据分类系统的总体结构进行设计，分析了的系统硬件结构，主要包括数据采集器、Web网络处理器、网络接口和存储模块，并详细介绍了各硬件结构。软件设计中，给出数据采集和大数据分类的部分代码，对大数据分类的实现进行了改进。实验结果表明，采用所设计系统对Web网络大数据进行分类，不仅分类精度高，而且能耗较低、效率较高，具有好的分类性能。

关键词： Web网络； 数据采集； 数据分类系统； 系统设计

中图分类号： TN926?34； TP311 文献标识码： A 文章编号： 1004?373X（2016）22?0036?0

0 引 言

近年来，随着计算机和Web网络的逐渐发展与广泛应用，Web网络中的数据量逐渐增多，但丰富的数据资源却令使用者面临更大的挑战，大量数据分散、无序大大增加了人们对Web网络信息利用的困难程度[1?3]。所以，需设计一种Web网络大数据分类系统，使用户快速有效地获取信息资源[4?5]。因此，对其进行探讨显得非常重要，已经变成了有关学者重要的研究方向，受到广大学者的关注，也产生了很多好方法[6]。

现在，有关Web网络大数据分类方法的研究有很多，有关学者还取得了非常好的成果。文献[7]提出基于决策树的Web网络大数据分类方法，该方法采用从上到下的方式，依据一组杂乱无章的数据建立树形的分类信息，将选择的测试样本属性作为树的节点，在对决策树进行建立时，依据一定的规则实现树的剪枝。……