姚卫国， 张东波

(1．南昌理工学院 计算机信息工程系，江西 南昌 330044；2．华南理工大学 土木与交通学院，广东 广州 510641)



基于Hadoop分布式平台的Web文本关键词提取方案

姚卫国1*， 张东波2

(1．南昌理工学院 计算机信息工程系，江西 南昌 330044；2．华南理工大学 土木与交通学院，广东 广州 510641)

针对海量Web文本的关键词提取问题，提出一种基于Hadoop分布式计算平台的关键词提取方案.首先，配置Hadoop平台，使其能够支持自然语言处理过程；然后，使用GATE工具对Web文本进行词句分割、词性标注和注释规则操作，得到候选关键词集；最后，利用单词位置和跨度重要性因子对传统TF-IDF算法进行加权，从而计算候选关键词与文档之间的相关性，最终获得该文档的关键词以标注文档属性.实验结果表明，提出的分布式关键词提取方案能够快速准确地提取Web文档的关键词.

Web文本；关键词提取；Hadoop平台；自然语言处理；分布式

为了提高信息获取的速度，从非结构化、无语义的Web[1]文档中准确提取出与Web文档主题紧密相关的关键词成为当前的研究热点[2,3].Hadoop[4,5]作为一种比较流行的分布式云计算框架，对于解决海量数据问题，比起价格昂贵的大型计算机，拥有十分明显的优势.

目前，有学者提出了一些基于Hadoop平台的自然语言处理(NLP)技术，例如[6]在Hadoop平台上设计了一种适用于大规模处理和查询的多语言NLP系统，支持文本标记、文本分析等应用.然而，该系统中Hadoop的分布式文件系统(HDFS)数据的读写量太大，严重影响了数据处理速度.

为此，本文提出一种基于Hadoop平台的Web文本关键词提取技术，首先，配置Hadoop平台，使其能够支持NLP过程；……