陈炎龙+段红玉

摘 要 针对常用的文本数据挖掘系统在处理海量文本数据时时间效率较低的问题，论文提出了一种基于改进Hadoop云平台的海量文本数据挖掘方法.该方法首先将传统Hadoop云平台进行改进以适应海量文本数据挖掘的需要，然后将海量文本数据集和挖掘任务分解到该改进平台上的多台计算机上并行处理，从而实现了一个基于改进Hadoop云平台的海量文本数据挖掘平台，并通过对10 000篇新闻材料组成的实验数据集进行挖掘验证了该平台的有效性和高效性.

关键词 文本挖掘；Hadoop；云计算；文本数据

中图分类号 TP301 文献标识码 A 文章编号 1000-2537（2016）03-0084-05

Abstract To overcome the problem of low time efficiency for commonly used text data mining system in the treatment of massive text data， an improved mass text data mining method was put forward based on the Hadoop cloud platform.This method firstly improved traditional Hadoop cloud framework to meet the needs of the massive text data mining， and then decomposed mass text data sets and mining task to multiple computers of the improved platform for parallel processing. By doing so， this method realizes the mass text data mining platform based on the improved Hadoop cloud platform. The effectiveness of this improved platform is verified by the mass experimental data set composed of 10 000 news materials.

Key words text mining； Hadoop； cloud computing； text data；

随着计算机技术与信息技术的飞速发展，国民经济各行业所获得的数据呈爆炸式增长，TB级甚至PB级海量数据无处不在[1].由于数据主要来自于互联网，例如电子商务、微博等，这些数据主要以文本形式存储，十分繁杂但又极具价值.它们产生的速度远远超过了人们收集信息、利用信息的速度，使得人们无法快速有效地查找到自己真正感兴趣的信息，从而造成了时间、资金和精力的巨大浪费，导致“数据资源”变成“数据灾难”[2].因此，如何有效地从这类海量数据中获取信息或规律已成为当今信息科学技术领域所面临的基本科学问题之一.

然而， 在传统计算框架下，海量文本数据的处理一般需要借助高性能机或者是更大规模的计算设备来完成[3].这虽然能够在一定程度上解决海量数据的处理问题……