罗逸伦

(广东财经大学,广东广州 510320)

0 引言

随着移动设备的普及,移动互联网时代已经来临。广告商利用互联网以及数据媒体平台进行广告营销成为趋势。同时,海量的推荐信息往往会影响用户的上网体验。因此,在网络资源有限的情况下,如何高效地提取用户行为特征,精准推荐适合用户的业务和内容,成为广告推荐领域需要解决的问题。

广告推荐领域中的一个重要环节就是对将广告投放到一个曝光机会(ad Impression)的用户点击概率进行预测[1],将广告尽可能的投放到点击率高的曝光机会用以最大化广告商的收益。因此,广告推荐的问题一般可以理解为广告点击率(Click-Through Rate,CTR)预测的问题。

CTR预测是一个典型的回归问题,逻辑斯蒂回归(Logistic Regression,LR)可以很好的将非线性的原始数据处理成线性的输出结果[2]。但是由于线性模型无法学习并提取数据中的高阶组合特征(非线性信息),从而限制该模型的性能。为了解决这一问题,因子分解机(Factorization Machine,FM)模型将数据中的高维隐形稀疏特征映射到低维稠密向量中,并使用向量内积方法来学习两两特征之间隐含的特征信息,在学习非线性信息的同时大幅度降低了特征两两组合导致的计算复杂度[3]。但是受限于计算复杂度和计算效率,FM模型一般只考虑提取2阶交叉特征,无法更深层次的提取高阶特征。

在过去几年,深度学习在自然语言处理、语义识别以及计算机视觉等一系列领域中取得了令人瞩目的成就,其挖掘数据特征间高阶隐含信息的能力也被应用于CTR预测领域中。……