沈静



浅析中文分词方法

沈静

(漳州职业技术学院计算机工程系，福建漳州363000)

中文分词是中文文本挖掘和信息处理的基础环节，而中文文本挖掘首先面临的是中文的分词问题。中文分词的方法主要有基于字符串匹配的分词方法、基于统计的分词方法和基于理解的分词方法三种，第一种分词方法简单、快捷，但对词典的完备性要求很高；第二种充分利用文本信息，但完备性较差；第三种还处于理论研究阶段。本文对现有的三种中文分词方法进行了研究和对比。

中文分词; 文本挖掘; 歧义切分

1 概述

中文分词就是由计算机在中文文本的词与词之间加上分界符。从表面来看它相比句法分析、语义分析等阶段的难度要小，但却是中文信息处理过程中最基础、关键的步骤。

中文信息处理涵盖了字、词、短语、句子、篇章等多层面的信息加工处理任务。中文文本最小的组合单位是字，而最小的信息单位却是词，但中文文本中词与词之间没有天然的分界符，所以在中文信息处理中，首要的任务就是“词处理”，即中文分词。

1.1中文分词的意义

中文分词是中文信息处理的基础，也是智能化中文信息处理中的关键步骤。中文信息处理是一门用计算机对中文（包括口语和书面语）进行转换、传输、存储、分析等加工的科学[1]。中文信息处理涉及字、词和句三个层面的处理，每个处理阶段都紧扣上一阶段。从语言构成上来讲，字是最小的构成单位，而词才是有意义的基本语言单位。……