韩旭

中国科学技术信息研究所 北京 100038

引言

汉字作为世界上最古老的文字之一，距今已有六千多年的历史，是承载中华传统文化的重要工具，而文言文则是中国古代使用汉字书写的一种书面语言。对文言文中所述内容的深入研究，能够更为详尽地解读历史，建立对应的中国古藉索引，为中国古代历史研究提供更多的事实依据。

目前基于中文的预训练模型大多针对现代汉语，但文言文和白话文在书写方式、表达方式等方面都存在较大差异，难以使用相同语言模型对其进行深入解读。文言文和现代白话文的区别主要表现在以下几点：（1）相对于白话文而言，文言文其最突出的特色是行文简练、言文分离。古代文言文中每个汉字代表的语义都较为丰富，语言表述高度凝练，难以进行分词操作；而白话文则更接近日常交流的口语，讲求表意清晰，在文本理解和语义分割上都更加简单。（2）从书写格式而言，中国古代人在写作时，一般是从上至下从右至左纵向书写，且不使用标点符号、空格、分段等方式进行文字分割，主要靠知识积累及语感进行断句；而白话文则需在有语义分割的地方进行标点的标注，做到文字通俗易懂。（3）从文字的书写形式而言，中国古代大多使用繁体字进行书写，因此留存的文言文古籍均为繁体字表述；而白话文一般使用汉字文字改革之后的简体字进行记录。相对于繁体字而言，简体汉字从笔画和汉字结构上都有较大的改变，将文字变得简单易学，但也因此损失了一些笔画中的语义信息。……