安建民，周一波，彭送庭

（英大泰和人寿保险股份有限公司，北京 100089）

0 引言

统计分析系统是公司各级管理人员了解前一日公司经营情况的重要系统。该系统通过数据抽取软件，每日批处理生成各种统计指标。随着互联网的高速发展，数据规模的不断增加，数据变化速度越来越快［1］，用户希望得到更快的数据处理和响应时间［2］，因此建设数据实时展示系统，实现对指标数据的实时计算变得越来越重要。

为让公司各级管理人员能够实时看到指标数据，本文设计的保险大宽表系统，利用分布式流计算技术［3］解决了在分布式环境下数据处理的一致性问题［4］、在数据从源数据库Oracle同步到MPP数据库的时效问题以及在界面展示时数据的主动推送问题。对比统计分析系统是以T+1［5］的模式对数据进行分析处理，无法实时查看最新保单数据信息，该系统极大地缩短了数据处理时间，实现了保险数据基本指标T+0模式下的数据实时同步和计算［6］。

1 系统总体设计

本文主要采用分布式流计算实现个险渠道大宽表保单数据实时计算、多表关联和分布式处理。通过采用分布式流计算技术，应用Kafka和Spark Streaming［7］实现分布式并行处理，提升系统计算性能和高可用性［8］；应用MPP数据库，提高了对海量数据的分析处理［9］和并行数据计算能力，让业务人员能即时知晓最新保单和汇总数据的变化情况。

图1详细展示了保险大宽表系统设计框架。

图1 保险大宽表系统设计框架

2 详细设计分析

2.1 数据采集和迁移

保险大宽表系统通过采用OGG（oracle golden gate）源端去抽取和投递保单变化的所有数据信息。……