种 飞，徐 野，张自圃

(沈阳理工大学 信息科学与工程学院，沈阳 110159)

Hadoop平台垃圾邮件过滤算法研究

种 飞，徐 野，张自圃

(沈阳理工大学 信息科学与工程学院，沈阳 110159)

传统分布式大型邮件系统对海量数据的处理虽然具有比较高的准确性，但是具有效率低、程序复杂、占用资源多等缺点，因此，需要在传统过滤技术的基础上进行优化。采用Hadoop平台贝叶斯过滤算法的Mapreduce框架，对系统配置进行优化，能够得到比较全面的知识库，不仅提高了邮件过滤阶段的可靠性，还使实验性能评价指标有了很大的提升。

Hadoop；Mapreduce；垃圾邮件；贝叶斯过滤算法

随着Intenet的迅速发展，电子邮件技术使通过互联网来进行邮件信息交换成了现实，电子邮件凭借其快速便捷、成本低廉、易于保存等特点得到了人们的认可，并迅速成为当今交流的主要方式之一。然而，随之而来的副产品也就是垃圾邮件也渐渐地影响到人们生活，例如：传播病毒，发送广告和不良信息，严重时甚至会影响使用者的生命安全，所以应该加强对垃圾邮件进行处理。

在传统的垃圾邮件过滤技术中，主要采用基于黑白名单技术[1]，基于规则的过滤技术[2]，基于内容统计的过滤技术。在传统的过滤技术中，都呈现出一些缺点，比如：准确率低、处理数据慢、成本高、操作复杂等。贝叶斯算法[3]在内容统计过滤技术中得到了很好的运用，它对文本具有很强的分类能力且准确率高，不过这种技术前期要进行大量的训练，之后得出知识库，其对训练样本的依赖性太强，故面对海量的邮件文本具有一定缺陷。……