APP下载

基于云计算的中文分词研究

2012-12-26许云峰张立全

河北科技大学学报 2012年3期

张 妍,许云峰,张立全

(1.河北科技大学信息科学与工程学院,河北石家庄 050018;2.中国铁通集团有限公司河北分公司,河北石家庄 050000)

基于云计算的中文分词研究

张 妍1,许云峰1,张立全2

(1.河北科技大学信息科学与工程学院,河北石家庄 050018;2.中国铁通集团有限公司河北分公司,河北石家庄 050000)

通过搭建Hadoop平台,将MapReduce编程思想应用到中文分词的处理过程中,使中文分词技术在云计算环境中实现。研究可以在保证原来分词准确率的基础上,显著提高中文分词的处理速度。

中文分词;云计算;Hadoop;MapReduce

中文分词就是将中文连续的字序列按照一定的规则重新组合成词序列的过程。中文分词是进行中文信息检索和数据挖掘的基础,已经广泛应用到相关领域,如机器翻译(MT)、语音合成、自动分类、自动摘要、自动校对等。现有的中文分词算法可分为3大类:基于字符串匹配的分词方法;基于理解的分词方法和基于统计的分词方法。目前已经成熟的中文分词项目有:SCWS,FudanNLP,ICTCLAS,HTTPCWS,CC-CEDICT,IKAnalyzer,Paoding,MMSEG4J等。其中ICTCLAS是中国最早开发的中文分词开发包,IKAnalyzer,Paoding,MMSEG4J是用Java语言开发的中文分词开发包。

采用IKAnalyzer中文分词开发包,通过搭建基于Hadoop的云计算平台,将MapReduce编程思想应用到中文分词的处理过程中,在保证原来分词准确率的基础上,提高了中文分词的处理速度。

1 系统架构

笔者将系统架构在2台Dell R410服务器之上,每台服务器分别部署Vmware vSphere Hypervisor,并安装4个FreeBSD操作系统,在每个FreeBSD系统上部署安装Hadoop 0.2,在Hadoop平台上实现中文分词算法,单台服务器系统架构图见图1。

文中的分布式文件系统采用HDFS,HDFS的架构建立在8个节点组成的集群上,每个节点上都运行FreeBSD UNIX系统,并且配置了Hadoop环境。……

登录APP查看全文