薛正元

基于改进贝叶斯决策的邮件过滤

薛正元

探讨了基于概率阈值的贝叶斯邮件过滤模型的局限性：由于很少考虑所设定阈值的适用性和实用性，损失了一定的召回率。改进贝叶斯决策，提出了基于随机变量的较小错误分类决策方法；针对邮件处理的特殊性，进一步提出了基于随机变量的较小风险分类决策方法。实验结果表明，处理普通文本分类问题时，前者的分类决策效果更好；而后者在处理邮件问题时性能更优，能够在保持较小误判风险的同时，提高贝叶斯邮件过滤器的召回率以及F值。

垃圾邮件；邮件过滤；概率；阈值；分类决策

垃圾邮件不仅困扰人们的日常生活，更威胁到网络的效率和安全。据中国互联网协会反垃圾邮件中心[1]公布的《2010年第四季度中国反垃圾邮件状况调查报告》，中国网民平均每周收到13.5封垃圾邮件，处理垃圾邮件耗时9.4 min，并有进一步增长的趋势。当前有多种反垃圾邮件技术[2]，包括黑白名单技术、基于规则的过滤技术、行为识别技术、基于内容的过滤技术等。然而，垃圾邮件的日新月异给当前技术带来了新的难题。单纯利用这些过滤技术，都很难达到令人满意的效果。表1总结了这些主流技术的优缺点。

表1 传统反垃圾邮件技术的优缺点分析

本文重点关注基于内容的过滤技术[3]：首先由用户对现有的大量邮件进行分类——垃圾邮件或正常邮件，然后系统通过对邮件集进行不断地总结与学习，进而根据新邮件内容进行分析和判断。……