陈杰 苏洋 唐勇 庞涛

【摘 要】为了满足移动终端游戏的精准运营需求，需要收集用户行为数据，实时分析业务状态，深度挖掘市场价值。基于Kafka、Flume、Storm、Redis等开源技术，构建了手机游戏大数据实时计算系统，实现了海量实时数据的采集、存储、计算和查询，并在现网实际系统中得到了成功应用。

【关键词】大数据 实时计算 开源 手机游戏

doi：10.3969/j.issn.1006-1010.2016.05.017 中图分类号：TP399 文献标识码：A 文章编号：1006-1010（2016）05-0079-06

引用格式：陈杰，苏洋，唐勇，等. 手机游戏大数据实时计算框架研究与实践[J]. 移动通信， 2016，40（5）： 79-84.

1 引言

在移动互联网时代，以手机游戏为代表的移动应用得到了飞速的发展。为了实现精细化运营，迫切要求针对海量数据能够实现实时计算结果以及秒级响应速度。以移动终端手机游戏平台为例，需要处理的流式数据主要包括手机游戏用户的PV/UV数值、页面浏览情况、手机游戏内容查找/登录/支付情况等，这些均要求实时数据的计算和分析，以便可以动态地获取用户访问数据，展示手机游戏平台实时流量的变化情况和用户行为习惯等。面对海量的业务数据量，传统的穷举所有可能条件的查询组合或者穷举条件组合的方法失效。

基于分布式处理机制和实时计算架构，将计算过程移至查询阶段，才能满足互联网业务海量数据计算和快速查询响应的需求。

2 实时计算处理流程

对互联网业务的海量数据（主要为日志流）的实时计算可划分为三大主要阶段：数据采集、实时计算处理分析和实时查询展示阶段。……