APP下载

基于汉字固有属性的中文字向量方法研究

2017-07-18陈凯琪

中文信息学报 2017年3期
关键词:语义文本方法

胡 浩,李 平,陈凯琪

(西南石油大学 计算机科学学院 智能与网络化系统研究中心,四川 成都 610500)

基于汉字固有属性的中文字向量方法研究

胡 浩,李 平,陈凯琪

(西南石油大学 计算机科学学院 智能与网络化系统研究中心,四川 成都 610500)

中文短文本在如今高速发展的互联网应用中变得日趋重要,如何从海量短文本消息中挖掘出有价值的信息,已成为当前中文自然语言处理中非常重要且具有挑战性的课题。然而,采用传统的长文本处理方法进行分析往往得不到很好的效果,其根本原因在于中文短文本消息的语法及其语义的稀疏性。基于此,该文提出一种基于汉字笔画属性的中文字向量表示方法,并结合深度学习对短文本消息进行相似性计算。该方法结合中文汉字的构词和拼音属性,将中文汉字映射为一个仅32维的空间向量,最后使用卷积神经网络进行语义提取并进行相似性计算。实验结果表明,与现有的短文本相似性计算方法相比,该方法在算法性能及准确率上均有较大的提高。

短文本;中文字向量;深度学习

1 引言

随着互联网,尤其是移动互联网的快速发展,社交媒体已经变成人们交流和传递思想的主要平台。每天从社交平台上产生的信息交互量难以估计。面对如此海量的消息,如何进行科学的有效管理,已成为当前的研究热点。根据中国互联网发展统计报告,文本信息已占网络资源的70%以上,是互联网中信息传播的主要载体,每天从网络中产生的文本信息量在TB级别以上。……

登录APP查看全文

猜你喜欢

语义文本方法
语言与语义
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
“上”与“下”语义的不对称性及其认知阐释
用对方法才能瘦
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
四大方法 教你不再“坐以待病”!
捕鱼
认知范畴模糊与语义模糊
如何快速走进文本