APP下载

基于改进音形码与HowNet的中文词相似度检测算法

2022-09-28王华敏黄梦醒冯文龙冯思玲

计算机仿真 2022年8期
关键词:检测方法

王华敏,黄梦醒,冯文龙,冯思玲

(海南大学,海南 海口 570228)

1 引言

目前存在许多基于字符相似度匹配的算法,比如edit distance,affine gap distance,Simth-Waterman distance,Jaro distance metric和Q-gram distance[1]或者在此基础上改进的算法,在处理拉丁文字的字符串匹配时,都能起到良好的效果。它们最先的设计目地也是为了处理拉丁文字遇到的字符匹配问题,因此在面对汉字的时候,效果往往差强人意。

针对汉字相似度匹配问题,在主流算法的启发下,许多研究者意识到可以将汉字先进行统一编码,编码时体现汉字特征的差异性,然后再将传统的拉丁字符匹配算法应用于汉字编码,可以大大提高准确率。

字形上,王东[2]等人把汉字表示为汉字结构、字首部件、和字尾部件三元组。祁俊辉[3]等人提出了基于特征向量和笔顺编码的字形相似算法,充分利用汉字结构、轮廓、笔画、书写顺序等特征来识别汉字。缺点在于组建汉字特征向量库后期还需要投入大量的工作,不过组建笔顺编码数据库值得借鉴。

发音上,已经有处理拉丁文字的Soundex算法,但是汉字种类繁多,且受方言影响,此算法无法满足要求。

音形结合上,俞荣华[4]等人在处理多语言文本的相似重复记录时,利用汉字的拼音序、笔划序、部首序对汉字进行排序处理,缺点是这种方法对汉字的特征差异描述还较为粗略。陈鸣[5]等人归纳出音形码,但拼音码没有体现出拼音发音的渐进变化,因此存在一个字对与之相近的发音字,与不相近发音字求出来的距离是一样的,而字形部分采用四角编码,只能粗略描述汉字的字形。……

登录APP查看全文

猜你喜欢

检测方法
学习方法
小波变换在PCB缺陷检测中的应用
用对方法才能瘦
四大方法 教你不再“坐以待病”!
赚钱方法
捕鱼