基金管理投资研究系统数据清洗及质量控制
2011-08-01王立荣付冉冉
武汉理工大学学报(信息与管理工程版) 2011年5期
关键词:规则
王立荣,郭 强,付冉冉
(1.山东经济学院信息管理学院,山东 济南 250014;2.山东经济学院会计学院,山东 济南 250014)
随着信息技术的快速发展,管理者在进行决策分析和计划制定时不能单纯依靠以往的经验,必须借助必要的数据来进行科学的管理。这导致管理人员进行决策分析时对数据的依赖性更加强烈。为此,人们提出了建立数据仓库的要求[1-4]。但是,由于用户错误录入或录入不完整、企业合并以及企业环境随着时间的推进而需要做出变更等原因会不可避免地造成各种各样的数据质量问题[5-8],企业在历史和现存的数据基础上为将来的发展做决策和预测时,数据的质量问题就变得非常关键。错误的数据会导致昂贵的操作费用和过长的响应时间,影响数据集中抽取模式的正确性和导出规则的准确性,使得应用于数据仓库前端的决策支持系统产生错误的分析结果,从而导致决策失误,影响信息服务质量[9-11]。为了过滤掉这些问题数据,提高数据质量,必须进行数据清洗来消除数据中的不一致和错误,将数据转换为统一的格式。为保证数据的正确性和决策的质量,还必须根据一定的业务规则对清洗后的数据质量进行校验。因此数据仓库构造过程中的一个重要的任务就是进行数据清洗和对清洗后的数据进行校验。目前大部分的ETL程序在处理数据的过程中忽略掉了数据库本身强大的数据处理能力,对数据的抽取、转换和加载工作都通过程序的方式实现,使ETL程序本身变得极其复杂。……
登录APP查看全文
