郑国英 张扬

摘 要： 随着互联网的迅猛发展，越来越多的互联网广告开始出现。互联网广告以其精准，快速，高效的投放，给广告主带来了丰厚的回报。通过对广告投放系统实时数据处理的分析，针对重定向和实时数据统计等问题，提出了流式处理的方案，运用Storm等技术，设计并实现一种广告投放的流式数据处理系统，详细论述了其设计与实现过程。

关键词： 互联网广告; 实时; 流式计算; Storm

中图分类号： TG4

文献标志码： A

文章编号：1007-757X（2019）06-0085-04

Abstract： With the rapid development of the Internet， more and more online advertising appeared. Because of its precise， fast and efficient delivery， online advertising makes advertisers obtain immense financial rewards. This paper analyzed the real-time data processing system for the online advertising， firstly. Then， in order to solve the problems of retargeting and real-time data statistics， a stream computing scheme was proposed. On the basis of the technology of Storm， we designed and implemented a kind of online advertising continuous computing system. The paper discussed the design and implementation procedure fully.

Key words： Online advertising; Real-time; Stream computing; Storm

0 引言

目前，流式處理[1]方案在国内的互联网企业中使用的越来越多，它被应用在金融领域、互联网领域、物联网领域等，并且它在数据统计、流量计算方面有很大的作用。

流式处理的流程主要包括日志采集，消息队列，日志解析，数据统计，数据展示。互联网广告流式处理系统从客户投放的需求和体验出发，着重在提高广告投放效率，实时展示投放数据，充分利用大数据的优势向广告主提供更加高效的服务，建立实时的投放优化机制，实现数据的实时处理[2]及效果展示，降低投放成本，实现更加精准的投放，提供给客户一个客观真实的页面数据。为运营人员及客户提供辅助和决策服务。互联网广告流式处理系统主要能够实时地展现数据投放的效果，对稳定性，容错性，实时性等方面的要求相对来说比较高。

互联网广告投放时会产生大量的日志数据，这些日志包含请求日志，竞价日志，曝光日志，点击日志等等。对于这些日志，因为其数据量大，处理逻辑相对复杂，同时又需要能及时高效的处理，如何采取处理框架是一个比较重要的选择，这关系到投放的精准性和高效性。……