刘伍颖， 王 琳

(广东外语外贸大学 语言工程与计算实验室 广东 广州 510420)

面向垃圾短信过滤的亚文档集成学习

刘伍颖， 王 琳

(广东外语外贸大学 语言工程与计算实验室 广东 广州 510420)

针对垃圾短信过滤问题，提出了一种亚文档集成学习方法.该方法采用亚文档集成学习框架将短文本在线二值分类问题转化成若干个子分类问题，并通过线性组合多个子问题的分类结果得出最终的分类预测.利用基于串频索引的文本分类算法实现了一种有效的弱分类器.实验数据表明亚文档集成学习框架能够提高现有文本分类算法的效能，而在亚文档集成学习框架下，基于串频索引的弱分类器过滤效果最佳.

垃圾短信过滤； 亚文档集成学习； 串频索引； TREC评测

0 引言

垃圾短信(SMS spam)是指在移动通信网络中不请自来、不加选择、大批量发送的长度在140字节以内的文本文档.自2008年开始，国内12321网络不良与垃圾信息举报受理中心每年发布两次《手机短信息状况调查报告》.报告中的每周垃圾短信率和每周垃圾短信数是两项非常关键的指标.每周垃圾短信率表示用户平均每周收到的短信中垃圾短信所占的百分比.根据报告中的这两项指标数据，我们绘制的2006—2015年垃圾短信态势如图1所示.

图1 垃圾短信态势

图1的态势显示从2009—2010年每周垃圾短信率从50.40%直线下降到21.10%；2011—2013年每周垃圾短信率基本稳定在23.00%.2006—2013年每周垃圾短信数约为10，虽然各个具体时段略有波动，但整体趋势变……