贺小娟 郭新顺

摘要： 针对互聯网广告数据具有高维稀疏性的特点， 在现有的点击率（Click-Through Rate， CTR） 预测问题的相关理论和技术基础上， 给出了一种基于梯度提升决策树（Gradient Boosting Decision Tree， GBDT）的卷积神经网络（Convolutional Neural Networks， CNN） 在线广告特征提取模型（CNN Based on GBDT，CNN+）. CNN+模型不仅能从原始数据中提取出深度高阶特征， 还能解决卷积神经网络在稀疏、高维特征中提取特征困难的问题. 在真实数据集上的实验结果表明， 与主成分分析（Principal Component Analysis，PCA） 和梯度提升决策树这两种特征提取方法相比， CNN+模型提取的特征更加有效.

关键词： 广告点击率预测; 梯度提升决策树; 卷积神经网络; 特征学习

中图分类号： TP391 文献标志码： A DOI： 10.3969/j.issn.1000-5641.201921007

0 引言

在线广告（Online Advertisement） 是随着互联网的诞生与发展而衍生出的一种广告形式， 即有广告发布需求的广告主通过具备广告发布能力的在线广告发布商， 将具有宣传其产品或服务的广告向互联网用户发布， 这些广告以图片、视频或文本链接等多种方式呈现在互联网用户面前[1]. 在线广告点击率（CTR） 预测[2] 是根据给定的用户点击广告的历史数据以及其他相关数据， 预测出用户点击广告的概率. 但是互联网中积累的大多数广告日志具有数据稀疏、特征维度大等特点， 这给如何使用模型高效地从数据中提取出有效信息以提高点击率预测的准确度带来了巨大的挑战.

随着数据挖掘、自然语言处理等技术的发展， 在广告点击率预测方面已经有了不少成熟的研究.逻辑回归（Logistic Regression， LR） 模型直接对用户是否点击广告的概……