基于权衡因子的决策树优化算法
2015-08-29董跃华刘力
江西理工大学学报 2015年5期
董跃华, 刘力
(江西理工大学信息工程学院,江西 赣州341000)
基于权衡因子的决策树优化算法
董跃华,刘力
(江西理工大学信息工程学院,江西 赣州341000)
通过分析ID3算法的多值偏向问题和传统ID3改进算法中出现的主观性等问题,提出了一种基于权衡因子的决策树优化算法.该优化算法通过引入能够反映属性之间相互依赖关系的权衡因子,对取值个数最多的属性的划分权重重新进行权衡,以完成对ID3算法的改进.实例验证和标准数据集UCI上的实验结果表明,当数据集中属性的取值个数不相同时,优化后的ID3算法能够解决多值偏向问题,在构建决策树的过程中,优化后的ID3算法既能提高平均分类准确率,又能减少平均叶子节点数.
ID3算法;多值偏向;权衡因子;决策树;权重
0 引言
数据分类是数据挖掘中重要的组成部分之一[1],其中包含有决策树分类器、贝叶斯分类器、遗传算法、粗糙集和模糊逻辑等基本技术[2].决策树算法由于其分类精度高、生成的模式简单、算法易理解等特点而得到广泛应用.众多决策树算法中,ID3算法的影响力最大[3].
由于ID3算法采用信息熵的计算方式来选择分裂属性,易导致其产生多值偏向问题[4].针对ID3算法的多值偏向问题,很多学者进行了相关的改进工作:文献[5-8]引入用户兴趣度参数,用户兴趣度参数在一定程度上虽能克服多值偏向问题,但该参数的选取主要依靠用户丰富的先验知识和领域知识;文献[9-10]在文献[6]的基础上进行……
登录APP查看全文
