邓益鹏 罗银辉

摘要：航行通告机器识别，对于规范化的代码处理相对简单，但对于自然语言处理起来相对困难。针对航行通告中类别多，数据分布不平衡，中英文混合等问题，提出基于word2vec文本向量化技术的文本分类方法，针对小样本数据采用smote算法对数据重采样，经过重采样后的数据选择使用XGBoost继承算法模型完成分类。由中航材导航技术公司提供的航行通告标签原始数据，经实验表明，能够有效规避样本数据分布极不平衡，分类数量过多的问题，同时模型的主要评价指标都有提高，包括模型的准确率、召回率及F1值。

关键词：航行通告;数据分布不平衡;word2vec;smote;XGBoost

中图分类号： TP31     文献标识码：A

文章编号：1009-3044（2021）11-0206-04

在运用传统机器学习文本分类的领域，文本分类的模型算法整体上已经成熟，在文本分类技术从理论研究到实际应用上面临着多方面的挑战，与实验室文档比较，互联网传播的电子文本信息则表现出分类多样，关系复杂，数据分布极为不平衡等特点，由中航材导航技术公司提供的通告标签原始数据同样标签数据分布极为不均衡，部分原始数据如表1所示。

传统的文档表示方法以词袋法BOW为主[1]，词袋法将文档看作是单个词的集合，每个词被认为是相互独立的。BOW将一篇文档都表示成和训练词汇文档一样大小的向量，向量的每个位置代表该位置所代表的词出现了几次，出现新的词汇文档，则向量维度增加。这就意味着几个重大缺陷：1）维度过高;2）短文本的词汇数通常是几个到几百，词向量的维度却高达数十万，利用率不到千分之一;3）词袋法不能很好地表示短文本的语义，忽视掉其中的顺序、语义等关键的信息。……