基于IMI-WNB算法的垃圾邮件过滤技术研究
2021-03-26吉小鹏
电子元器件与信息技术 2021年11期
吉小鹏
(南京理工大学自动化学院,江苏 南京 210094)
0 引言
工业互联网快速发展的今天,在信息传递上起到关键作用的电子邮件深刻改变了工作方式,与此同时大量无效的垃圾邮件却成了工业互联网界难以解决的问题,对邮箱存储和网络传输都造成了巨大困扰[1]。到目前为止,垃圾邮件过滤的方法主要包括基于黑名单过滤、基于行为识别过滤以及基于内容过滤等手段。由于从邮件文本中提取互信息特征,并通过朴素贝叶斯分类的方法简便、快捷,基于此方法的内容过滤逐渐成为了垃圾邮件的主流上应用技术[2]。
实际上,传统互信息方法并未计算出词频度,导致词频对互信息的偏置影响较大[3]。另外,多个垃圾邮件类别的样本差异性对朴素贝叶斯方法也较为敏感,造成传统方法对于样本差异较大的情况出现较高的误检率或漏检率。因此,在文本中,通过引入词频率因子和类别间差异因子来改进互信息计算,并将计算结果作为朴素贝叶斯分类的属性权重,建立基于IMI-WNB的垃圾邮件过滤算法,完成对垃圾邮件过滤的鲁棒性,降低垃圾邮件过滤时的误检率和漏检率。
1 基于IMI-WNB算法的工业互联网垃圾邮件过滤算法
1.1 改进的IMI互信息算法
传统互信息算法在计算过程中仅考虑文本频率,并未统计词出现的频率,在词频率不均衡的工业互联网垃圾邮件文本中过滤效果较差[4]。例如,文本频率相同的两个词,但是词频率的特征差距较大,在传统方法中认为词频率特征更大的词具有与类别更高的相关程度。……
登录APP查看全文
