APP下载

一种文本数据集成方法的研究与实现

2016-04-11陈飞彦

东北师大学报(自然科学版) 2016年1期

陈飞彦,胡 亮

(吉林大学计算机科学与技术学院,吉林 长春 130012)



一种文本数据集成方法的研究与实现

陈飞彦,胡亮

(吉林大学计算机科学与技术学院,吉林 长春 130012)

[摘要]针对数据预处理中文本数据集成涉及文本比较和查找耗时问题,提出一种基于hash技术的方法.通过hash运算,将查找过程中文本比较转化为整数比较,并同时使用2种hash函数,解决hash冲突问题.建立hash表或者B-树索引,加快了查找速度.实验结果表明:hash算法与hash表的结合使用,相对于常规集成方法,极大地提高了数据预处理的速度,数据量较大时,优势尤其显著;而相对于B-树方法,hash表方法实现简单,并且比B-树处理速度快.

[关键词]hash算法;hash表;数据集成;B-树;数据预处理

在数据采集时,由于每个样本有多个指标需要检测,一般根据指标分别进行采集相关数据,因此会产生多个数据源文件.需要将多个数据源的数据进行合并,将其转换或统一成适合于数据挖掘[1]的形式,如将同一样本对象的多个特征属性统一在一起,使其满足文本分类[2]模型的输入格式,这一过程在数据预处理中称为集成.

文本数据的合并一直没有较好的算法[3],目前字符串合并算法的时间复杂度为O(n2)[4].在对样本进行特征合并过程中,需要不断对其结果集进行检索,如果结果集存在,则合并特征值,如果不存在,则作为新样本添加到结果集中.合并过程是文本字符串检索(文本比较和查找)的过程,在数据量较大时,常规的检索方法消耗……

登录APP查看全文