梁伟晟

（中国移动通信集团广东有限公司，广州510623）

0 引言

渠道费用结算系统实现对社会渠道费用的计算。系统定期从外围系统（CRM系统、计费账务系统、BI、ESOP、物联网IOT、和商汇等）采集业务办理及状态数据，对采集的数据进行预处理，包括数据清洗、数据转换等操作，然后根据结算规则对预处理完成的数据进行费用计算，生成费用结算报表。Hadoop是用于海量数据存储和计算的分布式系统基础架构。Hadoop具有可扩展、可伸缩等特性，适用于海量业务数据预处理和计算。渠道费用结算系统引入Hadoop框架，充分利用Hadoop的分布式存储和计算能力，实现弹性伸缩，提高数据预处理的性能。在预处理过程中，由于海量数据以离散数据表的形式流转，依赖于平台数据处理性能，对资源消耗较大，影响预处理效率。为此，采用一种结算数据切片处理技术将无状态的离散数据按照一定数据特征规则进行结构化解析处理，以提高数据运算的效率。

1 系统设计

渠道费用结算系统基于Hadoop平台采集数据源，并做初步过滤预处理，再将初步预处理的数据按照结算规则生成计算所需的结构化数据。

图1 数据预处理

在预处理过程中，大量的数据是以离散数据表的形式被处理，没有根据数据特征归类处理，对资源消耗较大，处理性能依赖于平台处理能力。同时也无法进行动态扩展集群化数据处理，可能导致负载不均衡。

图2 离散数据流转

为解决处理性能和负载均衡问题，采用一种将结算数据切片处理的方法将无状态的离散数据按照一定数据特征规则进行结构化解析处理，将数据分割至各个redis内存数据库进行计算，提高数据运算的效率，实现资源负载的均衡。……