论数据分区对海量数据处理的必要性
2011-06-13赵浩然
科学之友 2011年22期
赵浩然
(中国铁通长春分公司,吉林 长春 130061)
1 引言
随着计算机技术、网络技术、通讯技术和Internet技术的发展,随着信息化社会的演进,以及计算机存储设备的高速发展,在人们的生产生活中充斥着大量的数据,这些数据记录着各种各样的信息,如何从丰富的客户数据中挖掘有价值的信息,为企业管理者提供有效的辅助决策,是企业真正关心的问题,以笔者所在的电信公司为例,如何从各种用户消费详单、用户信息中有效迅速的提出企业所需信息,是我们研究的重点。
如何从成千上万甚至百万千万上亿的数据中找出对于我们有价值的信息,因为处理几十万的数据即使再复杂对于目前的软件和硬件发展水平来讲都是可以迎刃而解的,但是数据达到千万级或亿级就是一项耗时持久的事情,往往我们需求的数据又是要反复筛选的,这样就需要做很多的提前准备以及应用一些技巧。
2 数据处理工具选择
在实际工作中遇到的或即将遇到的问题:①日数据处理量几百万条,每日每月周期处理;②数据来源于多个异构系统;③需保证数据完整性,对异常数据进行纠错;④无法对硬件资源升级。
通常情况下海量的数据处理无法通过人工处理,只能借助于工具,在比较成熟的产品和应用中主要用到了数据库产品、数据仓库产品和商业智能产品等以及其组合应用,另外,长期数据处理工作中的一些经验和总结也是解决这些问题的利器。
