中文信息处理的词法问题<br/>——以句本位语法图解树库构建为背景

中文信息处理的词法问题
——以句本位语法图解树库构建为背景

2014-02-28彭炜明宋继华俞士汶

中文信息学报 2014年2期

彭炜明，宋继华，俞士汶

(1. 北京大学计算语言学教育部重点实验室北京大学计算语言学研究所,北京 100871; 2. 北京师范大学信息科学与技术学院,北京 100875)

1 引言

在以人工语言(各类计算机程序语言)为分析对象的编译过程中，词法分析和句法分析是前后串行的两个过程。词法分析过程将输入字符(character)序列转换成单词(token)序列；句法分析一般也称语法分析或文法分析，它将单词序列分析成符合一定形式文法规则的语句。当前大多数的自然语言处理系统也还是划分词法和句法两个处理阶段，但是不同语言中词法分析和句法分析的分界情况却不大一致，这决定了各自分析内容和分析方法的迥异。

英语文本中单词之间有空格作为标记，因而词法和句法的边界是清晰的。词法分析阶段除了以空格切“词”，主要就是进行词干化(stemming)处理，即分析词语的形态变化。总之，英语信息处理的词法分析任务是独立而明确的。汉语的情况就复杂了，中文信息处理界很早就把分词问题当作汉语自然语言理解的第一个“拦路虎”，但一直未能彻底地解决；而汉语理论界至今还有人对汉语“词”这个单位的自然存在持保留意见。作为信息处理系统的输入，中文文本没有分隔词的空格，同时汉语的词又缺乏严格的形态变化，所以词的界定很难给出一个可以贯彻到底的操作标准。各种标准(语法的标准、词汇的标准)似乎都只能用作指导性的参照标准，并且各标准之间有时候还有冲突。

中文信息处理是以应用为主导的一门交叉学科，对语言学理论向来都是取“拿来主义”的态度，理论指导和理论验证贯穿于本学科发展的全过程。在“词”这个问题上，信息处理的各类应用(机器翻译、信息检索等)决定了从文本中获得一个个单词的实际需求。因此，分词规范暂且回避关于词的理论争议，而从应用需求出发定义“信息处理使用的、具有确定的语义或语法功能的分词单位”，并把“结合紧密、使用稳定”的部分词组也包括在内[1]。通过分词规范，并辅以一定词库，中文信息处理实际上避开了词和短语边界不清的理论问题，将单词的界定交给语言学家或者具有语言学背景的词库建设人员，由他们来规范分词单位的切分与否。而具体词法分析算法则摆脱了词、语判定的麻烦，专注于分词歧义的消解。这样，中文信息处理算是有了一个人为划定的词法边界。

虽然“分词单位”包括了部分词组，但笼统地看，它仍然小于语言学上“词”的范围。大量在语言学家眼中的成词单位都被排除在“分词单位”之外，比如大部分的数量词、处所名词。如果把词库收录词称为“词汇词”，词库之外的词统称“临时造词”的话*这里不直接使用“未登录词”是因为本文“临时造词”与现在中文信息处理中通行的“未登录词”概念所指不同。，那么目前大部分临时造词的自动分析都搁置到句法分析任务中去了。中文分词所定义的“未登录词”通常只包括人名、地名、机构名、新词语、缩略语，外加构词规则极强的少数词类，如数词。前几类词至今还是中文分词的难关，而此外的词法分析本质上都是在“规范/词库+歧义消解”的框架模式下进行*后来兴起的基于字标注的分词方法(如CRF分词等)没有匹配词典，但它通过算法学习得到的构词规律仍然是基于标注语料，而标注语料是按照分词规范来切分的。。在这一框架下的中文分词实际上并没有完成词法分析阶段的全部任务，它把一些属于词法分析的任务留给句法分析处理，从而增加了自动句法分析的负担。现状是，汉语词法分析迅速走向应用(中文分词系统的实现)，而句法分析系统一直以来未能达到实用水平。中文信息处理面临的各种困境很大程度上都是源于词法分析和句法分析的混同，或者说词法分析的不独立。

笔者以黎锦熙“句本位”语法体系为理论指导构建了一个小规模的汉语语法图解树库。在建设过程中，我们将黎氏语法与其他汉语语法理论进行了对比研究，也对中文信息处理中主流树库的实践经验加以分析和梳理。一方面注意到黎氏语法这一早期汉语语法体系的历史局限性和许多不完善之处，另一方面也发现了其中仍具有强大生命力、值得继承发扬的优良品质[2]。有些观点和方法是黎氏语法独特的，有些则是各家语法理论共识而被中文信息处理所忽视的，涉及词法和句法的方方面面。本文主要总结图解树库构建中遇到的各种词法问题，包括临时造词和词类标注问题，并谈谈在处理这些问题的过程中进行的理论思考。本文也会涉及与词法相关的句法问题，但是专门的句法问题拟另文阐述。

2 构建图解树库的基本情况

句本位语法树库以黎锦熙《新著国语文法》中设计的“图解析句法”为模型，将句子的句法结构呈现为二维平面上的图解形式，也可以称作“图解树库”。图解结构以XML格式存储，因而本质上也是一种树结构。相比目前主流的短语结构树或依存结构树，图解树结构的特点是采用主语、谓语等“句子成分”作中间结点。直观上看，图解树的结构层次更加扁平。

图解形式通过一条长横线上下区分主干成分和附加成分，主干成分的有限组合模式决定句子主干的结构类型，格局清晰、中心词突出。黎先生在对大量汉语例句进行句法分析实践的基础上归纳出如图1所示的一个“图解总公式”。我们以此为原型开发了图解标注工具，标注了《论语》、《唐宋八大家文钞•45篇》和《汉语语法教材·例句》共计11.4万字规模的图解树库，并开展了汉语句式系统描写、文言句法历时比较和句义骨架抽取等方面的研究[2]。

图1 句本位语法图解总公式[4]

恰如黎先生的比喻“句子由最简单的到极繁复的形式，仿佛像一种有机物的生长[3]”，所有复杂句子的结构分析只是总公式的反复运用和层叠嵌套。这种图解树结构给我们带来的疑问或启示是：汉语句法分析系统可以简化到所有句子结构都概括于一个图解公式？

语言的句法系统是客观存在的，特定句子的句法结构也应该是客观的，但是采用不同的语法分析体系和分析方法却可得到结构殊异的表现形式。将图解树的XML结构与另两种树结构(短语结构、依存结构)对比发现，前者之所以能够在二维图形与XML之间维持一种确定的编码解码关系，从而使整个句子结构系统表现得更加简明，就是因为句本位语法严格区分了句法组合和词法构造两种类型的语法关系。

从“词组本位”语法体系的角度来观察图解总公式，其中主要句法关系也不外乎：主谓(双竖杠分隔)、述宾(单竖杠分隔)、述补(谓词和后附的右斜线或右折线)、偏正(左斜/左折线与体词为定中，前附的右斜/右折线与谓词为状中)、连谓(谓词与前、后附加的动词性副附)，联合结构在图解上用虚线相连。除此之外的各种临时结构，图解时大多以连字号“-”联结，作为一个造句单位置于总公式的某一成分位置上。也就是说，图解析句之所以能够简化句法分析系统，就是因为它对主要句法关系之外的临时结构做了特殊的词法处理。这种以连字号联结的单位就是下节要讨论的“临时造词”。

3 临时造词

尽管汉语词和短语之间的界限相对模糊，但是仍有区分的可能和必要。朱德熙先生说： “句法研究的是句子的内部构造，以词为基本单位；词法研究的是词的内部构造，以语素为基本单位。可见句法和词法是属于两个不同平面的东西[5]。”邢福义先生把“词”作为最小的小句构件，认为“作为最低级别的语法单位的语素，当它以词的身分出现的时候，才成为小句构件，否则，就只是词的构件[6]。”史存直先生讲“语法是研究用词造句规律的学问，……‘词’是语法最小的单位[7]。”*史先生这里的“语法”其实就是指句法，因为在他的体系中“词法”只讲词分类。可见，不管是词组本位、小句中枢，还是句本位，从语素到词的构造过程理论上都不在句法分析的范围之内。

如前所述，中文信息处理以分词为界对词法分析和句法分析做了一个人为的划分。按照分词规范，前接成分、后接成分、语素、非语素字等“小于词的单位”也作为句法分析的输入出现在句法树的叶子结点中。分词规范与语法理论相背，其出发点显然是尽可能保持语料库与词库在分词单位上的一致性。

词库构建和句法分析对“词”单位有不同的要求。前者是词汇层面的收录，词作为静态的备用单位，是词汇词；后者是语法层面的分析，词作为动态的运用单位，是语法词。词汇词排斥“规则能产”的结构，而语法词不排斥。如果某一结构结合紧密，并且总是充当一个句子成分，那么即便规则能产，也应视作“临时造词”，比如“数量词”、“处所名词”。

在词库、词法标注语料库、句法树库三个方面的语言资源建设实践中，通常是先建词库和词法标注语料库，后建树库。词法规范考虑更多的是与词库建设的一致和同步，即首先保证分词、词性标注等词法分析的形式化和可计算性。因此造成了句法分析中造句单位的偏差，削弱了句法树库的系统性。

我们构建图解树库时曾试图利用现有分词结果(按规范切分正确)，但是发现某些切开的结构无法进入图解格局(总公式中并没有相应的句法构件设计)。这时就只能拒绝切分，重新联结为一个合成词。这些临时造词可分为重叠、附加和复合3类，下面参照《北京大学语料库加工规范》(以下简称《北大规范》)[8]，逐一考察。

3.1 重叠

汉语重叠构词主要有AA、AAB、ABB、AABB、A里AB、A不AB、ABAB、V一V、V了V、V了一V等形式，其中每字母代表一个汉字。下面举例及切分标注均引自《北大规范》，原规范中每类下面还分若干小类，这里每小类仅取一例作代表(后文同此)。

(1) “AA”重叠形：走走/v，好好/d，人人/n，个个/q，常常/d；

(2) “AAB”重叠形：洗洗澡/v，试试看/v；

(3) “ABB”重叠形：孤单单/z，一个个/mq；

(4) “AABB”重叠形：比比划划/v，高高兴兴/z，山山水水/n，许许多多/m，大大小小/z，确确实实/d；

(5) “A里AB”形：糊里糊涂/z；

(6) “A不AB”形：相不相信/v，漂不漂亮/z；

(7) “AB不AB”：相信/v 不/df 相信/v；

(8) “ABAB”重叠形：研究/v 研究/v，高兴/a 高兴/a，很多/m 很多/m，雪白/z 雪白/z，一个/mq 一个/mq，哗啦/o 哗啦/o；

(9) “V一V”形：谈/v 一/m 谈/v；

(10) “V了V”形：想/v 了/ul 想/v；

(11) “V了一V”形：读/v 了/ul 一/m 读/v。

图2 “ABAB”重叠和“V一V”形的短语结构

其中前6类不切分，后5类切分。切分序列作为一种短语结构进入到语法树库中，例如图2中，(8)具有与动词并列、连谓相同或相似的短语结构，而(9)则引入了另一种“固定短语”的结构类型。不管采用哪种形式，这些重叠结构都会给句法系统带进更多的歧义结构。在句法消歧时，它们将参与到同形序列的结构竞争中去，从而增加句法分析的计算复杂度。句本位语法图解对这些结构的处理是一贯的，即不作句法结构分析而以连字号连接为一个造句单位，因此句法系统的格局不乱。

3.2 附加

附加构词中至少有一个成分是词缀，分以下3类。

(1) 前缀+X：小王/nr，大杨/nr，老二/n，超音速/b，超声波/n，无公害/v，无条件/d，过饱和/z，非金属/n，非/h国家/n工作/vn人员/n；

(2) X+后缀：花儿/n，人们/n，艺术家/n，办事员/n，毕业生/n，参谋长/n，革命性/n，磁盘机/n，标准化/v，研究者/n，语言学界/n，朋友/n们/k，探索者/n，不/df顾/v劝告/v而/c执意/vd闹事/v者/k；

(3) 前缀+X+后缀：非党员/n，无政府主义者/n，超薄型/b。

汉语词缀大多都是所谓“构词”词缀而非“构形”词缀[9]，像“人们”、“艺术家”等都已收录在词库中，因而不在临时造词的讨论范围内。难于处理的是像“非”、“们”、“者”等既可以附着在语素或词上，也可以附着在短语上的“语缀”。

图解规范为：若X为语素或词(包括可用连字号连接的复合词，通常为体词)，则仍用连字号合成一词，比如“朋友-们”、“非-国家-工作-人员”；否则只有承认语缀的“词”地位，分析为结构助词。比如“不顾劝告而执意闹事者”就是通过句法来实现VP的“指称化”(详见5.2节)。表现在图解上，用支架顶起“不顾劝告而执意闹事”并按正常的VP结构图解，然后附上括弧标记的结构助词“者”，整体转为一个NP。

以下几个典型助词与附加相关，在此一并说明。

“了”、“着”、“过”3个动态助词后附在动词或动词短语上，其造词紧密程度不如以上词缀，确实更接近句法组合关系，因此不论前面是词还是短语，一律按助词图解。

结构助词“所”的语法功能是动词(短语)指称化的标志，比况助词“似的”、“般”等的语法功能是名词(短语)陈述化的标志，均可仿照“者”字图解。

“第”总是前附在数词上，以连字号合成一个序数词；“多”、“来”、“把”等总是后附在数词或数量词上，以连字号合成一个概数(量)词，如：五十-来-分，七-斤-多。

3.3 复合

复合词与短语之间的界限最难把握。根据邢福义《小句中枢说》中的“小句包容律”，短语相比复合词具备两个常备结构因素： A. 构件组合灵活，B. 音节较多[10]。且有公式：

• 短语-AB=复合词

• 短语-A=定型短语(如：世界大学生运动会)

• 短语-B=近似短语词(如： “吃饭、走路、讲话、唱歌)

《北大规范》在处理复合词时带一定弹性，但基本上也考虑到了这两个因素。定型短语主要为团体、机构、组织等专有名词，规定先切分再组合，如： [世界/n 大学生/n 运动会/n]nt。近似短语词则从使用频率和意义专门化两方面考虑，主要规范了以下两类。

(1) 二字名词：牛肉/n(名+名)，烤肉/n(动+名，定中结构)，红花/n(形+名，意义专门化，一种药名)，白/a花/n(形+名，定中结构，白色的花)；

(2) 三字名词：证明信/n，电流表/n，手表/n厂/n，马尾巴/n，电/n暖壶/n，小媳妇/n，白/a砂糖/n，美丽岛/n，贫困/a县/n。

所谓弹性主要体现在定中结构的组合中，不管“单音+单音”类型，还是“双音+单音”、“单音+双音”类型，都有切分和不切分的情况。语义在最终判定时实际上起了关键作用。朱德熙《现代汉语形容词研究》一文对此进行过细致的考察，以“白纸”、“白的纸”为例，认为这两种定中关系的差别在于：后者定语是描写性的，而前者是限制性的，“是一种具有强烈的凝固趋势的结构，它的结构原则不是自由的造句原则[11]。”这一观察与句本位图解的做法是一致的。在黎锦熙《〈实践论〉语法图解》、《〈矛盾论〉语法图解分析》等图解作品中，可以发现大量的这种限制性定中结构都以连字号连接为一个复合词。因此，如上所列的二字名词和三字名词在我们的图解树库中均以复合词标注，若其已被词库收录则直接标注，否则以连字号连接。

还有三类临时构造的复合词是： (1)数量词(数词+量词)；(2)处所名词(名词+方位名词)；(3)动结式/动趋式动词(动词+结果/趋向等补语)。这三类词都具有很强的规则能产性，是最典型的临时造词，因而《北大规范》一律处理为短语(数量短语、处所短语和动补短语)。目前我们的图解方式是按加连字号的复合词来处理，但是这几种结构实际上都有扩展形式，比如数量词中可插入形容词(例如，一-大-块)，动结式/动趋式中可插入表可能的“得”和“不”(例如，看-得-清，提-不-起)，方位词也可附着在短语而非单词上(例如，高山-大河-间)。因此，这些结构也可以考虑作相应图解形式的扩展。

4 惯用语

上节梳理了中文信息处理现行词法规范当作短语，而句本位语法当作单词图解的内容；本节主要考察那些在词法规范中作为一个分词单位，但仍可作句本位图解分析的内容。我们把意义专门化作为复合词区别于短语的特征之一，这是就一般情况而言。事实上，复合词语和意义专门化的对应关系并不是绝对的，赵元任先生总结如表1所示。

表1 复合词语和意义专门化关系[12]

表中“临时词”即上节讨论的临时造词，可看作复合词中的动态部分；而“惯用语”可看作短语中的静态部分。由于它的这种静态性质，一般都会作为特殊类而收入词库。这也是为何词法规范中将其作为一个分词单位的原因。这类惯用语包括的短语结构类型有：

(1) 主谓结构：手头紧，耳朵软；

(2) 动补结构：拿不出手；

(3) 定中结构：半瓶子醋；

(4) 状中结构：干瞪眼，乱弹琴，很难说；

(5) 动宾结构：有意思，背包袱，丢饭碗，管闲事，加把劲，捡便宜……

这类惯用语中动宾结构数量最多，且以“单字动词+双字名词”的三字结构为最常见。之所以仍对其进行图解分析，有两方面原因： ①这些结构虽然带上了一定词汇意义，但字面意义(综合意义)仍然存在；②它们的结构不像真正复合词那样稳固，大都可以自由扩展，类似离合词的用法，有的还离多合少。

5 词类标注

5.1 依句辨品

在词类问题上，句本位语法主张“用句法控制词类”，根据词所充当的句法成分来辨别词类[4]。所谓“依句辨品”可以从图解上直观地反映出来：特定图解位置对应着相对固定的词类(图1)。在此需要首先澄清许多人对句本位语法的一个误解，即认为“依句辨品”就是“作主语、宾语的是名词，作述语的是动词，作名词附加语的是形容词，作动词、形容词附加语的是副词。”图解总公式清楚地表明，词类和句子成分存在对应关系，但不是一一对应。通过图解工具标注语法树就是利用了这种对应关系，标注时只需进行少量的词类选择，大部分词的词类标记都由程序根据句法位置直接生成。11.4万字规模的图解树库能在一个较短时间内完成标注，很大程度上得益于此。

“依句辨品”带来的问题是将导致“词无定类”、“离句无品”，从下例中可窥见一斑。“善”作为一个词在《论语》树库中的词类分布有五，如表 2所示。

表 2 《论语》图解树库中抽取的“善”

从表中可以看出，所谓“词无定类”是词形无定类，而具体义值对应的词类是确定的。 “依句辨品”的“品”是词在语境中具体义值的语法类别，它反映词的言语意义或使用义。而词库划分词项(义项)是依据词的语言意义，或称词汇意义、贮存义。语言意义是对言语意义的抽象和概括，具有一定的广义度[13]。仍以上举诸“善”为例，词库中通常把③④⑤概括为一个词项，其词类标记需综合考察它在所有句子中的句法功能分布状况。

显然，句本位语法的词类和当前中文信息处理的词类是在不同词义层面上的标注，前者取词的使用义，后者取词的贮存义。与之前关于“词”单位的界定问题类似，现行词类系统首先保证分词标注语料库与词库的一致性，而忽略句法分析对输入词类序列的实际需求。

文献[14]分析了在现行词类体系下自动标注软件的各种表现和存在问题，指出词类体系与归类标准存在互相矛盾之处，词性标注结果“不仅会加大词性标注软件算法的难度，甚至会使得中文信息处理的后续工程无法展开。”其中主要的几例列举如下：

(1) 全句动词序列：围绕/V扶贫/V搞/V开发/V, 搞/V 好/A开发/V促/V扶贫/V

(2) 区别词(按定义只能修饰名词的词)修饰动词：大型/B展览/V，远程/B发射/V

(3) 不同词性的词形成并列结构：付出了劳动/V与汗水/N

“词有定类”的代价是“类无定职”，在沟通词库和句法分析上现行词类系统是脱节的。其中最显著的问题莫过于谓词(动词或形容词)直接充当主、宾语的情况。这便是黎氏语法所谓“名物化”，而后来语法学界多修正为“指称化”的一种无标记词类转化现象。

5.2 指称化

朱德熙先生在研究“的、者、所、之”的语法、语义功能时提出了“自指”和“转指”[15]两个指称化概念，展示了分析汉语词转类现象的语义观察视角。其文中首先拿英语kind/kindness和write/writer来说明“自指”和“转指”两类指称化过程。前者只转类为名词，不产生新的义项，因为后缀-ness没有给词根kind增加新的词汇意义；后者既转类为名词，也产生新的义项，在词典中需要另行释义。“自指意义(kindness)只跟谓词自身(kind)的意义相关，而转指意义则跟谓词所蕴含的对象相关(例如writer指动作的施事，employee指动作的受事)。”

汉语的特点：谓词可直接充当主、宾语而不改变形式，因而是否发生转类还需从意义上判断。若是自指，就没有理由让谓词转为名词，因为既没有词汇意义改变，也无形式标记。转指分两类，带形式标记的(主要为“所VP”、“VP者”)，指称化功能可认为由结构助词承担，谓词不转类；不带标记的转指谓词才认为转类成名词。总之，汉语指称化在词类上的表现是： ①自指不转类；②兼类只限于无标记转指，如“锁”(动作的工具)、“发明”(动作的结果)、“代表”(动作的施事)等均是提取了动词的某个论元。

黎氏语法对自指谓词的处理是：坚持主、宾位为指称位的句法原则，因而单个谓词充当主、宾语则发生“名物化”，转类为名词；但谓词若再带上宾语、状语等其他成分，则认为整个短语“名物化”(图解时顶起成为“名词性短语”，见图1)，而谓词本身不转类。前者是“词无定类”的主要来源，让“依句辨品”广遭诟病。

为了兼顾句法的系统性(依句辨品)和词类的系统性(词有定类)，我们修改图解规范：充当主、宾语的自指谓词，不论是否再带其他成分，一律顶起以示“指称化”。也就是说，黎氏语法中“指称化”分成词法实现(转类)和句法实现(名词性短语)两种方式，而图解树库中都统一为句法实现。

构建树库的宗旨是为了实现自动句法分析，如果罔顾指称化的语言事实，拘定“名、动、形三大词类可以不加区别地直接充当主、宾语”，那么句法分析只能止步于“汉语词类与句子成分之间不存在一一对应关系”。这不但把汉语语法的系统规律都抹杀了，也无助于中文信息处理应用的展开。

5.3 非句法功能类

目前大多数的汉语词性标注系统乃至国际评测中，标记集都包括如前接成分、后接成分、语素、非语素字、成语、简略语等类别(称法或有小异)。在句本位图解树库中，这些都不单独设类，因为它们并非必需的句法功能类，对句法分析无益。如前所述，前接成分和后接成分作为临时造词的一个构件，不应切分开，而成语、简略语与名、动、形等词类显然不在同一标准，也应根据句法功能归入相应词类中去。语素和非语素字主要出现在一些离合词的用法(如“出了一次差”)、字用举例(如“鹧鸪的‘鹧’”)中。这些单字既已独立充当句子成分，就应承认其“词”地位，哪怕作为临时造词，没有必要为了几例少数用法而多立名目。