朱铮雄 黄宇青

1(海际金控有限公司 上海 200120)2(上海市计算技术研究所 上海 200040)

0 引 言

巴塞尔协议Ⅲ[1]根据银行交易数据与风险资产计算一级资本的充足率。银行的各种交易数据的集成和整合是整个巴塞尔系统的核心。传统方式采用脚本和数据库存储过程[2]进行数据整合，串联起上游数据源系统和下游商业报告系统。随着金融全球化的步伐加快，数据量呈几何级增长，从原先面临亿级数据处理到面对每天万亿级以上的处理数据，系统面临极大的瓶颈。原先采用的全部是存储过程，导致数据库瓶颈大，单个节点扩展性能难，数据处理速度慢，存储过程难以维护。同时下游报表系统也严重依赖上游数据库[2]，数据库经常卡顿，严重制约整个巴塞尔系统运行的准确性、时效性。提升数据处理性能，提高自动化程度，降低系统之间耦合度是摆在整个银行运维和开发面前的重要问题。

本文采用Spring Batch的系统构架方式，重新架构整个数据整合系统，并结合目前业界最为流行的Web Service对数据采集、数据处理、数据发布、数据持久化等各个应用模块按照面向服务模式进行解耦合。本文将这些应用模块按照面向服务的设计理念重新定义接口，使整个模块有机地联系起来，每个服务相互独立并且可以以一种统一和通用的方式进行交互。当某个服务无法适应数据压力时，可以进行水平扩展，在保持各个模块独立的扩展性的同时进行创新，确保了数据整合的可靠、稳定、高效，且满足巴塞尔系统的运行要求，成为海量数据整合的核心枢纽。……