APP下载

基于改进网格搜索算法的随机森林参数优化

2018-05-21温博文董文瀚解武杰

计算机工程与应用 2018年10期
关键词:分类优化

温博文,董文瀚,解武杰,马 骏

空军工程大学 航空航天工程学院,西安 710038

1 引言

随机森林算法是由Breiman于2001年提出的一种集成学习算法,并在文献[1]用强大数定理证明了其收敛性。其后,国内外学者相继对其进行了后续研究。在国外,Kulkarni等通过将维度分为两部分,一定程度上提高了正确率[2-3]。Oshiro等证明了随机森林的决策树数量存在一个临界值使其性能达到最优[4]。Bernard等研究了随机森林强度与相关性的关系,内在分析了随机森林的原理[5]。在国内,马景义等综合了Adaboost算法和随机森林算法的优势,提出了拟自适应分类随机森林算法[6]。刘迎春等基于随机森林算法,设计了互联网行业的大数据流式应用场景中的流式计算方法[7]。

随机森林是一种有效的机器学习方法,可应用于分类问题、回归问题以及特征选择问题[8]。随机森林是由决策树作为基分类器的集成学习模型,结合了Bagging和随机子空间理论。随机森林算法引入了两个随机量:一是从训练集中有放回地随机抽取样本数据组成自助训练集;二是在构建决策树的过程中随机选择特征属性作为候选分裂属性。正是由于两个随机量的引入,随机森林对噪声数据不敏感,克服了过拟合的问题。由于随机森林具有良好的性能,因此在诸多领域得到了广泛的应用。但到目前为止,对随机森林算法中决策树数量k、候选分裂属性数mtry等参数进行优化选择的研究还较少,通常都是通过经验选择参数,在文献[1]中,Breiman选取mtry为1和「lb M +1」进行了试验,M为训练样本集特征维数。……

登录APP查看全文

猜你喜欢

分类优化
超限高层建筑结构设计与优化思考
民用建筑防烟排烟设计优化探讨
关于优化消防安全告知承诺的一些思考
分类算一算
垃圾分类的困惑你有吗
一道优化题的几何解法
由“形”启“数”优化运算——以2021年解析几何高考题为例
教你一招:数的分类
给塑料分分类吧
基于低碳物流的公路运输优化