基于70年报刊语料的现代汉语历时稳态词抽取与考察
2016-06-01饶高琦李宇明
中文信息学报 2016年6期
饶高琦,李宇明
(1. 北京语言大学 对外汉语研究中心,北京 100083;2. 北京语言大学 语言政策与标准研究所,北京 100083)
基于70年报刊语料的现代汉语历时稳态词抽取与考察
饶高琦1,李宇明2
(1. 北京语言大学 对外汉语研究中心,北京 100083;2. 北京语言大学 语言政策与标准研究所,北京 100083)
该文基于70年跨度的历时报刊语料库,使用九种统计方法计算了词语历年的使用情况,并通过对稳定性、覆盖度和时间区分性能的考察筛选获得了规模为3 013词的历时稳态词候选词集。该词集中动词与名词各占约三分之一(其余为形容词、副词与虚词),平均词长约1.7字,前密后疏地分布于历时语料库总频序表的前7 609位,覆盖了总语料的近九成。该部分词语中包含大量构造句子结构的核心词语。它们塑造了稳态词在词长和词类上的特性。稳态词的提取可以加深对语言生活底层与基础词汇的认识,对汉语教学、中文信息处理和语言规划都具有重要意义。
稳态词;历时语料库;语言监测
1 引言
汉语演变的历程中,词语使用受时间影响的程度不一,表现为词语在时间维度上的分布不同。词汇系统中很多词语使用稳定、受时间影响小、更新和变异缓慢,构成了现代汉语词汇系统的底层,起到基础和主干的作用。张普[1]先生的研究中将这部分词语被称作稳态词。
稳态词在自然语言处理中的直接相关研究较少。Fumiyo等[2]使用卡方检验从30年的MedLine英文文档集中筛选具有时间显著性的名词。Degaetano-Ortlieb[3]等在SciTex中挖掘了与时间相关的词类串和用词特征,并使用相关分析辅助选择。……
登录APP查看全文
