基于改进粒子群算法的随机森林优化研究
2021-02-10赵成兵刘慧慧谢新平
宿州学院学报 2021年12期
赵成兵,刘慧慧,谢新平,刘 静
安徽建筑大学数理学院,安徽合肥,230022
随机森林是机器学习中一种采取有放回抽样策略的集成分类算法,模型以单棵决策树作为基学习器,在基学习器上分别训练数据集,并综合其投票结果,以投票结果中得票数最高的类别为最终输出。在随机森林训练过程中,更合理的参数选择能够有效提高模型分类准确度和模型稳定度。对于如何选择使得机器学习模型分类准确率更高的参数,传统选择有交叉验证、网格搜索、梯度下降等方法,但传统的参数优化方法在实现过程中难以避免主观因素的干扰,且训练过程重复性高。近年来,群智能算法因有通过仿生物群体运动过程,从而指向性的调整参数被广泛地应用于机器学习模型中的参数优化问题,相较于经典的优化方法,群智能算法在实际运算中效率更高,且实现更为简单,具有一定优越性。
粒子群算法相对于遗传算法、果蝇算法以及退火算法等其他群智能算法,在参数优化问题处理上具有精度高、收敛快等优势,并且粒子群算法在参数的调优过程中综合考虑单个粒子信息与全局信息,通过学习因子与权重控制调优过程,更为全面地控制参数调整过程。但因标准粒子群算法运行过程中若个体粒子适应度值过高,从而使得粒子运动调整无法跳出最优粒子局部运动范围,故存在可能陷入局部最优化的不足。因此,模型建立时首先针对标准粒子群算法的不足之处利用柯西变异增加随机扰动,而后将随机森林模型嵌入粒子群算法之中,从而完成相对最优参数的选取。……
登录APP查看全文
