包晓安，陈 昀，张瑞林，张 娜，徐 曼

（浙江理工大学信息学院，浙江杭州 310000）

0 引言

近年网络广告成为广告商推广产品和营销的流行方式，为电商网站提供了大量收益。在按点击付费的广告系统中，广告通过千次有效点击（effective Cost Per Mille，eCPM）排序，而eCPM 是由广告点击率乘以点击的期望收益计算的。点击的期望收益与广告产品本身性质有关，点击率在广告系统的收益中起关键性作用，所以点击率预估模型性能直接影响到广告系统收益。与有目标的搜索不同，用户点击广告没有明确意图，在建立点击率预估模型时，需要从丰富的历史行为中提取用户的兴趣和需求。描述用户和广告特征是广告系统点击率建模的基本要素，合理利用这些特征并从中挖掘信息至关重要，Rendle［1］提出因式分解机（Factorization Machines，FM）［1］，通过计算二阶特征组合预估点击率；GBDT+LR［2］通过决策树模型对输入特征进行训练，然后把决策树模型的输出输入到LR 模型中进行点击率预估。

近年由于深度学习在图像处理和自然语言处理中的成功应用，基于深度学习的点击率预估模型成为研究热点。这些模型有相同的模式，都是由嵌入层和多层感知机组成。先通过嵌入层把高维稀疏的原始数据变成低维稠密数据，再把低维稠密数据输入多层感知机进行计算。多层感知机可以计算特征的高阶非线性特征组合，减去了人工特征组合过程。Hengtze 等［3］提出Wide&Deep 结合LR深度神经网络计算低阶和高阶特征组合；Guo 等［4］提出DeepFM 用FM 代替Wide&Deep 的Wide 部分，自动计算二阶特征组合。……