王亚林，陈忍忍

(江苏省第二地质工程勘察院，江苏 徐州 221000)

0 引言

随着大数据时代的到来，机器学习成为科学研究和实际应用的重要工具和研究对象，使运用机器学习算法进行分类问题的研究也成为了热门。分类问题可以分为二分类问题和多分类问题，其根本思想是通过一个函数(算法)来判断输入数据的标签，即类别。相较于回归问题，分类问题的输出是一系列离散值，并且分类问题在现实中的应用更为广泛，如人脸识别、语音识别、图像分类、遥感等领域。

梯度提升树(gradient boosting decision tree，GBDT)[1-5]、多层感知机(multi-layer perceptron，MLP)[6-9]和支持向量机(support vector machine，SVM)[10-12]均为经典的机器学习模型。国内外学者对这几种模型在分类问题方面已经有了诸多的研究。Guangzhou[13]等将特征筛选与神经网络、朴素贝叶斯、SVM 和 GBDT等模型相互结合建立分类模型，比较几种模型在分类问题中的表现。Dev[14]等人利用 DGF和HGF的数据，对运用机器学习方法进行地层岩性分类研究，结果表明，GBDT具有良好的分类结果。罗威臻[15]利用遗传算法和MLP模型研究了肌电和脑电的分类问题，结果表明，所提出的方法在分类准确率上已经优于现有的分类方法。

以UCI机器学习数据仓库(Machine Learning Data Repository)中提供的康斯威星乳腺癌数据为研究数据，分别使用GBDT、MLP和SVM算法建立乳腺癌预测模型，比较各种模型的表现，为进一步研究机器学习模型在分类问题中的实际应用提供了思路。

1 研究方法

1.1 梯度提升树

提升(Boosting)方法是一种常用的统计学方法，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高模型的性能，可以看成一种集成方法。……