刘光霆

[摘 要] 本文从分析军需物资油料信息化建设的现状入手,指出建设军需物资油料数据仓库的必要性;分析了军需物资油料数据仓库的数据来源,构建了系统总体框架;从确定主题域､逻辑模型设计､物理模型设计､ETL设计几个步骤详细阐述了该系统的设计过程｡

[关键词] 军需;物资;油料;数据仓库

[中图分类号]F270.7;TP311[文献标识码]A[文章编号]1673-0194(2009)03-0066-02

经过多年努力,我军信息化建设已取得了飞速发展｡以军需物资油料部门为例,各业务部门均以骨干业务为中心,开发了相关的管理信息系统｡这些MIS系统的应用在部队的管理活动中发挥了重要作用,但是也暴露出了不少问题,主要体现在业务管理系统都是面向底层的业务处理,不能对中高层的决策支持提供帮助｡为了克服上述困难,进一步提高军需物资油料信息化管理水平和综合保障能力,有必要以原有各单位开发的信息系统为基础进行数据整合,搭建集OLAP､数据挖掘于一体的数据分析环境,为部队首长动态掌握战区保障力量和保障资源提供服务,同时为后续的联勤保障决策支持系统提供信息支撑｡

1 数据源分析

构建军需物资油料数据仓库所需数据主要来源于3个方面:

(1)已联网业务信息系统｡这类系统采用的都是Oracle数据库｡

(2)未联网业务信息系统｡这类系统采用的数据库不统一,但多集中于SQL Server､Foxpro､Access等中小型数据库,但也有少数系统选用了Oracle数据库｡

(3)Excel电子文档｡部分数据目前还未开发相关的业务信息系统进行集中管理,对此类数据,助理员一般是将其输入到制式的Excel电子表格,定期上报或下发｡

2 系统总体构架

在军需物资油料数据仓库系统开发中,以Oracle为数据库管理系统,以功能强大的Weblogic作为应用服务器,通过J2EE实现数据仓库和Web服务器集成,为用户搭建了良好的技术环境｡系统整体结构如图1所示｡

3 设计数据仓库

军需物资油料数据仓库是在现有的各业务信息系统基础上进行开发的,它着眼于有效地提取､综合､集成和挖掘已有的数据库资源,服务于决策分析的需要｡数据仓库系统开发是一个不断循环､反馈而使系统不断增长与完善的过程,在整个开发过程中自始至终都要求分析人员､开发者以及业务人员的共同参与和密切合作｡结合军需物资油料领域现有的业务系统实际情况,军需物资油料数据仓库的设计包括以下几个步骤｡

3. 1确定主题域

数据仓库中的数据是面向主题组织的｡主题对应着某一宏观分析领域所涉及的分析对象,是针对某一决策问题而设置的｡

针对需求,系统划分为保障力量､保障资源和供应管理3个主题,具体内容如图2所示｡

3. 2逻辑模型设计

在确定主题后,需要对主题包含的信息进行详细定义｡利用维度建模的方法进行数据建模,选择一种数据模型对相关主题的事实表和维表的关系详细定义,使其能够有效地组织数据仓库中的数据｡

3. 2. 1选择建模方法

基于用户的要求,分析主题域,着重于某个主题,设计多维数据结构的事实表和维表｡星形结构数据模型已被证实在数据仓库设计中是灵活的､有效的,它在查询响应时间和存储空间上都表现良好,本系统采用星形模式来表达事实表和维表之间的逻辑关系｡

3. 2. 2确定粒度层次划分

粒度是维划分的单位,体现着数据单元的详细程度和级别｡数据越详细,粒度越小,级别越低;数据综合程度越高,粒度越大,级别越高｡在军需物资油料数据仓库中,考虑到决策者对库存数据的近实时性要求,时间维的粒度精确到小时,即时间段划分为年､季度､月､周､日､小时6层;方向维的粒度划分为作战方向､军区､分部､库站4层｡

3. 2. 3关系模式的定义

数据仓库的每个主题都是由多个表来实现的,这些表之间依靠主题的公共码联系在一起,形成一个完整的主题｡关系模式的定义就是对选定的主题进行模式划分,形成多个表,并确定各个表的关系模式｡

3. 3物理模型设计

物理数据模型主要解决如何组织和存储数据,以满足系统处理的要求｡建立物理模型是一个从逻辑模型向更加具体的､依赖于系统和数据库平台的物理形式转化的过程,它主要包括了事实表设计､维数设计､数据分区､索引设计､完整性约束设计､实体化视图设计等方面｡

对于记录庞大的事实表,采用Oracle数据库提供的分区表(Partition Table)进行管理,一般按方向和时间两个要素进行分区｡而访问频繁且记录少的维表(如各种代码表)则设计为高速缓存表(Cache Table),让数据在首次读取时驻留在系统内存中,以加快后续数据存取速度｡索引的建立也在物理设计中完成｡在军需物资油料数据仓库中,设计了大量的基于函数的索引(Function Based Index,即FBI),FBI的本质是一种预计算处理,即对用户在查询中所需的中间结果进行预计算,这样可以大大提高复杂查询的效率,减少用户等待时间和提高系统并发度｡以油料收发作业为例,系统中需根据开票时间进行频繁查询,通过在开票时间字段上建立FBI,可提高查询效率｡对包含聚集与多表连接等的复杂操作,系统构建了物化视图,以提高此类操作的响应速度｡

3. 4ETL设计

ETL,即数据抽取(Extract)､清洗(Cleanse)､转换(Transform)､装载(Load)的过程,是构建数据仓库的重要环节｡ETL工具的设计主要从自身项目的适应程度和二次开发等方面来考虑｡其设计框架见图3｡

4 结束语

该系统的建立,为军需物资油料系统搭建了综合的､面向分析的环境,为决策者能够作出更加科学的决策提供了良好的信息基础｡并且在数据仓库的基础上,运用OLAP联机分析处理工具支持用户进行多维的分析,提供多视角查询､分析､预测和制作动态图表,从而达到帮助用户轻松､有效完成信息分析的目的｡今后的工作主要包括两方面:一是扩大数据仓库的范围,建立起包括军需､物资､油料､交通､卫勤在内的联勤综合数据仓库;二是加大数据挖掘的力度,依托数据仓库构建决策支持系统,为决策者提供准确､完备的信息支持｡

主要参考文献

[1] W H Inmon. Building the Data Warehouse[M]. NewYork:Third Edition John Wiley & Sons Inc,2002.

[2] Thomas Kyte.Effective Oracle by Design:Design and Build High-performance Oracle Application[M]. NewYork:The McGraw-Hill Companies,2003.

[3] Thomas Kyte. Expert One-on-One Oracle[M]. Berkeley,CA:Apress,2003.

[4] Thomas Kyte. Expert Oracle Database Architecture[M]. Berkeley,CA:Apress,2005.

[5] 王骏. 构建数据仓库实例[J]. 计算机工程与设计,2006(10):3663-3665.

[6] 田扬戈,边馥芩. 空间数据仓库的ETL研究[J]. 武汉大学学报:自然科学版,2007(4):363-365.

[7] 吴飞,邢桂芬,邢玉萍. 基于本体的ETL设计研究[J]. 计算机工程与设计,2007(4):1517-1519.