西安大略大学 韩佩轩

1 消费金融客户数据仓库及其私有云体系结构

1.1 消费金融大数据整体框架

信息技术发展速度不断加快，消费金融能够获得更加精准的金融数据，同时数据量逐渐增多，在进行金融数据处理的过程中以及对有关数据分析的时候过程比较繁琐，需要耗费大量的时间。所以，在数据处理过程中如果依然运用传统的技术，是很难满足需求的[1]。建立消费金融大数据整体框架，对数据信息进行存储、处理，并做好统计工作。

1.2 消费金融大数据平台架构设计

1.2.1 系统功能模块

数据仓库架构，主要为六个模块，具体介绍如下：

其一，数据采集模块主要的功能是对原始数据进行采集，并在数仓中存储。

其二，消息队列模块是缓冲队列，其接收上游生产者传输的数据信息，向下游消费者传输[2]。

其三，数据预处理模块，用于预处理消费消息队列中的缓冲数据，经过流处理模块计算之后存储在实时数仓中。

其四，实时数仓，可以提供实时数据查询。

其五，非实时数仓，对于T+1时间的数据统计、数据分析以及数据查询服务予以提供。

其六，数据接口平台，将数据查询接口提供给各业务系统。

1.3 消费金融大数据平台数据管理

1.3.1 数据抽取

其一，抽取结构化数据。通过sqoop，可以将生产数据库中的所有库存数据导入HIVE，通过canal将每天增加的数据伪装成MySQL的从端，利用主数据库中的binlog进行查询，实时读取的时候，向Kafka队列中写入数据，而且还要实时更新数据传输到开源数据库中，开源数据库所发挥的作用是每天将数据定期抽取到HIVE中。……