高嘉琦，赵庆聪,2

(1.北京信息科技大学 信息管理学院，北京 100192;2.绿色发展大数据决策北京市重点实验室，北京 100192)

0 引 言

中国历史文化源远流长，有大量的古典文学作品流传至今，这些作品展现了中华民族从古至今的人文精神，同时也传承了上下五千年以来优秀的传统价值观，是一笔宝贵财富。对古典文学作品进行深入的分析和研究，在文化传承、历史研究、人文教育等方面都有十分重要的意义。

对古典文学作品进行文本挖掘，分词是基础。目前现代汉语的分词方法技术已较为成熟，而对古代汉语的分词处理尚处于探索、验证阶段。国内学者对古文分词已进行的研究有：石民[1]等采用条件随机场模型，基于两个模板进行古文分词标注一体化，使得准确率和召回率都有所提升。王嘉灵[2]选用条件随机场模型，以《汉书》为语料，并选择了核实的特征模板，制定了《汉书》分词规范，进行分词实验，实验结果的F值达到94.4%。王晓玉等[3]选用中古时期的语料，选用条件随机场和词典的方法训练分词模型，解决了人工分词不一致问题。杨世超等[4]采用带有古汉语特征的条件随机场模型作为特征模型，获得了较好的分词效果。

上述研究都需要大量的人工标注，费时费力，缺乏通用性，也未能提出一种能快速构建古汉语词库的有效方法[5]。古典文学作品中有大量的词汇已不在现代使用，故也未收录到现代汉语词典中，这是造成分词效果差的主要原因，如果对古典文学作品进行新词发现，构建古汉语分词词典，能有效提高分词的准确率。……