陈雨桐

摘要：大数据时代，对海量数据的高效处理极为重要。集成学习算法中的随机森林和梯度提升决策树是近些年来常被用于处理数据分类与回归的方法，决策树则是随机森林和梯度提升决策树算法组成的基础。本文首先对决策树进行了介绍，然后分别对随机森林和梯度提升决策树进行了分析，叙述了两种算法的优缺点以及近几年来在生活生产中的应用，并对两种算法进行了比较。

关键词：决策树;随机森林;梯度提升决策树;集成学习

中图分类号：TP311      文献标识码：A

文章编号：1009-3044（2021）15-0032-03

随着科技的不断进步与发展，海量的数据涌入人们的生活，人们便希望可以有方式能够高效地处理这些数据。于是，产生了数据挖掘技术。决策树便是数据挖掘技术中典型的算法，决策树可以处理分类问题和回归问题，但它属于单个的分类器，具有容易发生过拟合现象的缺陷。因此，集成学习算法应运而生。其中，随机森林和梯度提升决策树是两种由多棵决策树集合而成的算法，且它们在集成学习算法中很具有代表性。本文将对随机森林算法和梯度提升决策树算法进行综述。

1决策树

1.1决策树简介

决策树是机器学习中一类用于分类和回归的算法，目前常用的决策树算法主要有在1986年由Quinlan提出的ID3算法、由ID3算法改进形成的C4.5算法、进一步改进形成的C5.0算法和在1984年由Breiman提出的CART算法。决策树的理论结构是一个树状图，图中每个非叶子节点代表一种决策，每一个分支代表一种决策结果，每一个叶子节点代表一个类别。……