金磐石, 朱 志, 沈丽忠

1(中国建设银行股份有限公司, 北京 100025)

2(中国建设银行股份有限公司 厦门开发中心, 厦门 361008)

1 现状与挑战

随着以社交媒体的兴起、智能设备的普及, 现代社会已经步入“大数据”时代, 它将对社会、商业和个人都产生巨大而深远的影响. 根据维基百科的定义[1],“大数据”是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合;而大数据技术指的是新一代的技术与架构, 在成本可控的前提下, 它可以通过快速的采集、发现和分析, 从海量的、多样的数据中提取价值. 这个定义描述了大数据的三个特征:Volume(海量)、Velocity(高速)、Variety(多样), 即俗称的“3V”. 第一个是 Volume(海量), 数据量越来越大, 已经超出传统技术和功能的存储和处理能力;第二个是Velocity(速度), 数据量增长越来越快,需要处理的速度和响应的时间要求也越来越高;第三个是Variety(多样性), 指各种各样类型的数据出现, 过去的数据更多的是结构化的, 现在越来越多的数据是半结构, 甚至是完全没有结构的数据, 如文本、邮件甚至于语音、视频等. “3V”是对大数据最基本特征的归纳, 得到业界的共识, 同时也是我行面临的主要挑战.

一方面, 在“大数据”时代背景下, 我行数据线架构面临“大数据”三个基本特征带来的冲击. 首先, 数据量持续增长, 我行拥有6亿客户和20亿账户, 由此产生的每日数据增量达2～3TB,并以每年10%以上的速度增长, 然而传统软硬件一体的数据仓库解决方案成本高昂, 动……