APP下载

编辑距离在语言分类研究中的应用

2018-09-21赵志靖

现代语文 2018年5期

赵志靖

摘 要:编辑距离是一种距离测量法,源于将一个字符串变换为另一个字符串所需要的编辑操作数。该方法能够自动将语言进行分类,最近这些年在西方很受关注。文章结合国外两个语言学研究对其应用做了分析讨论。针对Greenhill对于编辑距离语言分类方法的质疑,文章认为其有改进的空间,同时,应该探索其在汉藏语系语言研究中的应用。

关键词:编辑距离 同言线 ASJP 语言分类

最近几年,编辑距离被证明测量语言或方言间距离是有效的(Gooskens and Heeringa,2004;Gooskens,2007;Kurschner,Gooskens and Bezooijen,2008;Gooskens,2013)。编辑距离可应用于不同的语言学领域,如计算语言学和方言学等。Kessler(1995)第一次将编辑距离应用于测量爱尔兰盖尔语方言之间的距离。从那以后,有很多的研究用这种方法来测量语言或方言间的距离。Nerbonne et al.(1996)应用编辑距离测量20种荷兰方言间距离;Heeringa(2004)则通过测量荷兰的从东北到西南的27种方言间的距离进一步展示了编辑距离的功能;Bolognesi and Heeringa(2002)、Gooskens and Heeringa(2004)、Gooskens(2007)和Nerbonne and Siedle(2005)分别应用编辑距离测量撒丁语、挪威语、斯堪的纳维亚语和德语。以上大部分研究的是欧洲语言。除此之外,编辑距离还被应用于印欧语系(Serva and Petroni,2008;Tria et al.,2010),南岛语系(Petroni and Serva,2008),突厥语(van der Ark et al.,2007),印度伊朗语系(van der Ark et al.,2007),玛雅语系、米塞-索克语系、奥托-曼格安语系、Huitotoan-Ocaina、Tacanan、Chocoan、穆斯科格语系、南亚语系(Brown et al.,2007; Holman et al.,2008;Bakker et al.,2009)。

一、编辑距离简介

编辑距离又称Levenshtein距离(Levenshtein Distance,简称LD),是由俄国科学家Vladimir Levenshtein于1965年提出的(Levenshtein,1965),是一种常用的距离函数度量方法。编辑距离算法的发明使字符串差异得以量化,多年来在自然语言处理、自动拼写检查乃至DNA基因序列相似性检查方面都有建树,近年来有语音学家利用编辑距离思想处理语言的语音相似性问题。……

登录APP查看全文