袁闻+王晓晔+邓高登+韩淼+杨星+谢晓喆

摘 要：垃圾短信制造者出于商业目的或其他诈骗目的向手机用户大量发送垃圾短信或诈骗短信，使得手机用户不胜其扰。运营商在发送短信之前对短信加以辨识后，给可能是垃圾短信的信息贴上标签后再发送，将会大大降低手机用户受骗的机率。该文采用IF-IDF算法和离散特征的贝叶斯分类器，进行特征词选取，构建垃圾短信鑒别模型。通过垃圾短信训练数据集构建的中文垃圾短信贝叶斯分类模型，能够使垃圾短信的识别率保持在94%以上，具有较高的实用性。

关键词：贝叶斯分类器 中文垃圾短信 特征提取 特征选择 文本挖掘

中图分类号：TP393 文献标识码：A 文章编号：1672-3791（2017）02（b）-0010-04

1 文本预处理

由于短信文本是由非结构化的中文文字组成，因此在采用传统的贝叶斯分类器进行垃圾短信的识别之前，需要对垃圾短信进行文本预处理。

中文文本预处理的处理流程如图1所示。

1.1 文本特征提取

文本挖掘的关键就是将文字型非结构化数据转化为数值型结构化数据，为后续的贝叶斯分类器做准备。中文文本挖掘不同于英文文本单词与单词之间用空格分隔的情况，因此中文文本首先要进行分词处理（例如原文本：此类皮肤特别容易招惹粉刺、黑头等。分词处理后的文本：此类；皮肤；特别；容易；招惹；粉刺；、；黑头；等。分词处理之后，须对每份文本进行特征提取。即保留具有实际意义的词，去掉没有实际意义的虚词以及标点等停用词（Stop words）（例如上述文本特征提取后为：皮肤；……