基于汉字固有属性的中文字向量方法研究
2017-07-18陈凯琪
中文信息学报 2017年3期
胡 浩,李 平,陈凯琪
(西南石油大学 计算机科学学院 智能与网络化系统研究中心,四川 成都 610500)
基于汉字固有属性的中文字向量方法研究
胡 浩,李 平,陈凯琪
(西南石油大学 计算机科学学院 智能与网络化系统研究中心,四川 成都 610500)
中文短文本在如今高速发展的互联网应用中变得日趋重要,如何从海量短文本消息中挖掘出有价值的信息,已成为当前中文自然语言处理中非常重要且具有挑战性的课题。然而,采用传统的长文本处理方法进行分析往往得不到很好的效果,其根本原因在于中文短文本消息的语法及其语义的稀疏性。基于此,该文提出一种基于汉字笔画属性的中文字向量表示方法,并结合深度学习对短文本消息进行相似性计算。该方法结合中文汉字的构词和拼音属性,将中文汉字映射为一个仅32维的空间向量,最后使用卷积神经网络进行语义提取并进行相似性计算。实验结果表明,与现有的短文本相似性计算方法相比,该方法在算法性能及准确率上均有较大的提高。
短文本;中文字向量;深度学习
1 引言
随着互联网,尤其是移动互联网的快速发展,社交媒体已经变成人们交流和传递思想的主要平台。每天从社交平台上产生的信息交互量难以估计。面对如此海量的消息,如何进行科学的有效管理,已成为当前的研究热点。根据中国互联网发展统计报告,文本信息已占网络资源的70%以上,是互联网中信息传播的主要载体,每天从网络中产生的文本信息量在TB级别以上。……
登录APP查看全文
