徐润华，陈小荷

(南京师范大学 语言信息科技研究中心,江苏 南京 210097)

1 引言

先秦文献专指秦朝统一之前、诞生于春秋战国时代的一大批优秀文学作品，它们形式上丰富多彩、内容上斑驳灿烂，奠定了我国两千多年文学发展历史的坚实基础。目前已知的先秦传世文献不过数十种，而其中又以《左传》的篇幅为最大。随着时代的发展，古籍文献的数字化、语料化的需求越来越大，[1]索引化、结构化的应用越来越广，这也使得对先秦文献进行信息处理方面的研究具有了更加积极的意义。

然而现阶段，针对先秦文献在信息处理方面所做的研究还比较匮乏，并且多停留在使用现代汉语信息处理方法来处理古汉语的模式上，缺乏对先秦文献体裁、古汉语语言风格等特殊之处的有针对性处理。正是在这种背景下，本文以先秦传世文献中篇幅最大的《左传》为研究对象，讨论了一种从先秦文献本身特点出发、充分考虑古汉语信息处理特殊性的《左传》分词新方法，并希望籍此能给整个先秦文献的信息处理研究带来有益的启示和帮助。

2 《左传》自动分词的特点

现代汉语自动分词的一般模式是： 人工标注-模型训练-机器标注。人工标注的工作量通常很大，模型训练需要大规模语料支持，机器标注的最终效果取决于标注语料与训练语料的相似程度。先秦文献却并不适用于现代汉语的这套分词模式： 先秦传世文献只有数十种，每种文献的篇幅都不大，篇幅最大的《左传》也只有28万字，多数文献只是几万字的篇幅，有的甚至只有几千字。……