唐代以来汉语文学作品中的字频演变
2011-06-14刘宇凡郭金忠陈清华
中文信息学报 2011年3期
刘宇凡,郭金忠,陈清华
(1. 石家庄经济学院 人文社科学院,河北 石家庄 050031;2. 北京师范大学 管理学院,北京 100875)
1 引言
人们很早就发现,文学作品或者文集中的基本组成单元或元素并不是等概率出现的,少数的字和词使用非常频繁,而只出现一次的字和词非常多。这种特定的统计分布形式具有非常强的普适性,存在于不同地区不同时期多种语言之中。这种统计研究除了在理论上讨论语言的共性外,其结果也具有实际应用价值,例如它可以应用于语言信息的计算机化处理,包括文本的压缩、输入法的编码等,以及目前比较流行的文本自动分析和处理,还可以用于语言学习材料的组织和其他方面,如小学课本中常用字词的选取等。
语言的统计研究可以追溯到很久以前,古印度语法学家在研究《吠陀》时,就进行过单词和音节数目的统计。1898年德国学者Kaeding编制了世界上第一部频率词典《德语频率词典》。1935年和1949年哈佛大学语言学家Zipf先后出版了两本著作[1-2],提出了著名的Zipf规律(或齐夫定律)。他在总结前人统计发现的基础上,指出在文集中词的出现不是等概率的,它们满足这样的形式:p(r)=Cr-β,其中P(r)为排序在第r位置的词出现的频率,β为Zipf指数,C为常数。后续一些研究发现西班牙语、法语、爱尔兰语[3]、希腊语[4]、印度语[5]、土耳其语[6]均满足这种分布特征,甚至现在已经灭绝的语言也是如此[7]。随着计算机技术的发展,对语料库的统计工作变得非常简单,这方面的研究工作变得更容易进行。……
登录APP查看全文
