基于朴素Bayes组合的简易集成分类器①
2021-02-23宋丛威
计算机系统应用 2021年2期
宋丛威
(浙江工业大学 之江学院 理学院,绍兴 312030)
朴素Bayes 分类器是一种简单易用的分类器,在文本分类方面表现出色[1–4].垃圾邮件过滤是它最为成功的商业应用[5].到现在一直有人尝试把它应用于各种领域[6–9].
朴素Bayes 分类器建立在条件独立假设的基础上:

其中,一个只和x有关的系数被省略了.而这个假设比较强,通常无法被满足;计算出的后验概率和实际值也相差较大.不过,朴素Bayes 分类器却不会因此而受太大影响[10].实际上,朴素Bayes 分类器是一种可加模型[1],即有下述分解:

历史上人们提出了不少改进方案了[3,8].本文提出的改进方法解决了朴素Bayes 分类器的两个问题.
(1)通常朴素Bayes 分类器要么解决连续型的分类问题,要么解决离散型的分类问题,总之p(xi|c)的分布类型是同一的[11].而本文的方法不受此限制.
(2)在很多方面神经网络等机器学习算法和Bayes分类器是互补的.本文方法可以以非常简单的方式将两者结合起来.
1 朴素Bayes 组合分类器
本节主要推导朴素Bayes 组合公式,并简述分类器的构造.
1.1 朴素Bayes 组合公式
设x=(x1,x2,···,xm),即输入变量被分解成m部分,在条件独立假设的基础上,通过简单变形可得:

在算法设计上,下面的等价公式会比较好用:

作为分量,xi不必是1维的;p(c|xi)都是独立计算的,互不干扰,而且也不是每一个都必须用Bayes 估计.如果第i项是用分类器fi进行估计的,那么:

其中,fi,c表示fi在c上的分量,代表lnp(c|xi)的估计.这就是说,只要用不同部分的数据独立训练多个训练分类器,然后简单求和就可以……
登录APP查看全文
