石凤贵

(马鞍山师范高等专科学校 软件工程系，安徽 马鞍山 243041)

计算机底层处理的是“0”和“1”，“0”和“1”是计算机特有的语言。计算机底层只能识别和计算数字，那么处理文本数据时，首先需要对文本数据进行数字化预处理。早期采用One-Hot独热编码处理，但没有考虑词的含义和词与词的关系。目前，最常见且效果较好的是词向量方法，其经典模型是Word2Vec[1]。词向量包括词和向量。英文中词之间有明显的分隔标记，中文中词与词之间没有明显的分隔，不同的断句中文意思不同。制作词向量之前需要进行文本分词。文中将介绍词向量机制和Word2Vec词模型应用。

1 中文分词

计算机进行文本分析与理解的首要任务就是分词。中文语句结构复杂，不同的断句表达的意思不同，同一个词不同的语句和文本中表达的意思不尽相同，词语的划分难以界定。

句子中含有歧义词、网络词、新词。分词就是采用一定的分词规则和机制将语句切分为词组成的词列表，分词算法主要有基于词表的分词算法、基于机器学习的分词算法和基于理解的分词算法[2]。

基于词表的分词算法是一种字符串匹配的分词算法，包括正向最大匹配、逆向最大匹配和双向匹配等，这种分词算法简单、快速、易实现。在字符串匹配的分词算法基础上，优化衍生出了其他的分词算法。基于机器学习的分词算法是一种基于统计的分词算法，在处理歧义及新词上较好，但需要依赖标注语料和训练。

目前，出现了多种分词算法和分词工具，每种分词工具既有优点，也有缺点。……