APP下载

基于ELMo-BiLSTM-CRF 模型的中文地址分词

2021-10-29于文年彭艳兵

电子设计工程 2021年20期
关键词:信息模型

余 俊,于文年,彭艳兵

(1.武汉邮电科学研究院,湖北武汉 430070;2.南京烽火天地通信科技有限公司,江苏南京 210019)

外卖、网上购物、共享单车等互联网资源的普及化和大众化,衍生出了大量的中文地址信息,中文地址信息中包含着一个人每天的行动路线和个人信息,这类信息若可以获得高效利用,将会是一笔极其宝贵的资源,使得对中文地址信息解析[1]的研究显得尤为重要,而中文地址标准化是对地址信息解析的基础,这些都离不开中文地址分词。

不同于英文单词,由于中文有着自身的语言属性,不同词之间缺乏显著的切分凭据,而且中文词语本身有语法结构[2],中文地址信息容易出现歧义、缺失、冗余[3]等情况,使得该分词面临巨大困难。如今,国内外很多学者在该领域也展开了较为丰富的研究。

将字符串作为基础的匹配[4]方法,能按照一定规则扫描相关词条,直至找到需要匹配的字符串,实现简单,但是无法识别匹配速度偏慢且有歧义和缺失的字段;针对该方法存在的缺点,文献[5]中将标志词作为基础,搭建相应地址分词算法,该方法可以实现正向自适应长度匹配,并针对缺失的地址要素,给出相应的补偿,从而解决分词问题,可以有效消除字段缺失,进一步降低了时间复杂度,从而提升匹配速度,但是无法解决未登录词[6],且完全依赖于字典,对字典的长期维护也是一个极大的问题。

为了更好地提升中文地址分词的性能,文中将ELMo[7]模型应用于中文地址分词中,并借助于实验对该分词模型的有效性进行相应验证。……

登录APP查看全文

猜你喜欢

信息模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
订阅信息
3D打印中的模型分割与打包
FLUKA几何模型到CAD几何模型转换方法初步研究
展会信息
一个相似模型的应用
信息
健康信息
健康信息(九则)