APP下载

优化的代价敏感随机森林算法设计研究

2021-12-06任宇轩

科学与生活 2021年24期

任宇轩

摘要:代价敏感随机森林算法是解决不平衡数据分析的一种典型方法,在许多领域应用广泛,但其存在着两个不足一是构造代价函数时未考虑样本分布情况,二是对于数据集内的所有特征其距离计算过程相同,未突出重要特征。为解决上述问题,本文提出了一种优化方法根据样本分布情况构造代价因子,并引入权重距离,以提升算法性能。

关键词:随机森林;代价敏感;不平衡数据

1代价敏感学习

在处理不平衡数据时,由于多数类样本与少数类样本数量相差巨大,会导致学习结果出现偏差,生成的分类器会完全偏向于多数类。如样本空间为1000的数据集,为二分类,其中多数类样本995个,少数类样本5个,那么分类器在对待新样本时,只需要将其机械的分为多数类,其准确率也在99.5%左右。而这种分类方法却远不同于我们的需求,往往我们希望分类器能够更加准确的分出少数类。如医院在诊断癌症患病者时、银行在判断贷款有无坏账风险时等。

代价敏感的学习方法就是对分类器设置分类错误时的代价,如下表所示,其中表示少数类,表示多数类,表示将a分为b需要付出的代价。

之后采用贝叶斯定理构建风险函数,如式(1)所示:

2优化的代价敏感随机森林算法设计

通过将代价矩阵引入到随机森林中,起到准确处理不平衡数据的效果,但代价矩阵构造的准确程度将直接影响分类准确度,且传统的代价敏感随机森林方法使用欧式距离计算样本距离,但在样本空间中特征的重要程度不同,仅通过计算欧氏距离构造的代价矩阵分类性能较差。……

登录APP查看全文