APP下载

浅谈SAP系统数据归档

2015-11-21成龙樊荣

中国储运 2015年8期
关键词:数据备份存储空间数据量

文/成龙 樊荣

浅谈SAP系统数据归档

文/成龙 樊荣

本文对SAP系统数据归档的必要性进行分析,探讨了对SAP系统数据进行数据归档的对策措施,对数据归档效益进行了分析,为公司业务拓展提供了借鉴。

SAP系统数据;数据备份时间;数据步骤

一、为什么要对SAP系统进行数据归档

随着企业业务的快速发展以及对SAP系统应用的深度挖掘,SAP系统数据库的增长速度不断提高,数据规模不断扩大,逐渐就出现了如下问题:

1.系统性能下降。用户会发现系统部分重要业务的运行时间平均增加了2~3倍,少数程序运行时间增加达到5倍以上,已经影响了用户的业务处理。如录入的业务数据涉及物料凭证(如表MSEG),运行时间由原先的几秒,增加到十几甚至几十秒,顿滞感觉明显;每月财务部门运行涉及会计科目(如表BSIS)的程序,运行时间由初始的十几分钟延长到3至5个小时;个别综合类的报表,运行时间由原先的2~3小时,变为现在的8~10小时,甚至于运行30小时以上,信息严重滞后。作为系统的运维团队,往往会针对用户的抱怨协调内外部资源,采取了调整系统参数、优化程序等措施,但却无法取得明显效果。

2.数据备份时间增加。随着数据库数据量的增长,SAP系统数据备份时间会不断延长,会占用更多的备份资源,会影响其他系统的备份操作。如很多企业采用每日在线备份策略,随着备份时间的延长,必须不断调整SAP系统备份起始时间,当备份时间增长到一定范围(如果超过10个小时)时,就可能完全挤占其他系统的备份时间,危及系统安全。同时,备份时间的延长,也影响备份期间进行的业务处理及后台数据操作,影响了业务处理和信息的及时性。

3.存储空间需求增加。为保证系统可靠运行,企业的SAP系统采用三系统架构,即开发系统——测试系统——生产系统架构;为满足用户培训及特殊测试需要,还部署了培训系统。测试系统、培训系统通常都是由生产系统COPY生成。为保证系统运行,会分配给SAP系统各运行环境一定存储空间。当生产系统数据量增长时,就有可能造成系统存储空间使用量成倍增长,若不采取数据清理措施,则必须为系统分配新的存储空间。

为解决上述问题,保证SAP系统安全稳定运行,保障企业各项业务正常处理,企业需要采取有效措施,降低系统数据库数据量,控制数据增长,从而提高系统性能,提高数据备份效率,控制存储空间增长需求,减少后续备份设备和存储设备投资。

通过实施SAP系统数据归档,可以将使用频率低的历史数据迁移到外部存储,同时清理系统中的无效数据,是实现上述目的的一种成熟、可靠的技术方式。

二、如何对SAP系统数据进行归档

1.数据的分类

这几年,大数据这个词频繁被大家运用。而笔者认为所谓的大数据是在一定时间范围内、一定的稳定环境下,通过收集、整理微观的数据,来达到揭示宏观发展趋势的有效数据。因此,并不是说历史数据期间越长越利于统计,越利于预测企业未来的发展需要。只有在稳定的外部环境下,一定期间的数据才对企业的发展具有使用的价值。

笔者认为,SAP系统的数据根据使用的频率大致可以分为活跃数据、留存数据和死亡数据。

活跃数据是指在系统中经常使用的数据,这部分数据经常用于查询或者统计报表使用等活动中。这类数据一般多用于日常查询、月度的同比和环比以及年度的同比和环比,因此数据的活跃期大约在2年左右。

留存数据是指在系统中会偶然使用,大多数处于沉淀状态,这部分数据多用于数据统计和备查状态,大约是指3~5年的数据。

死亡数据是指在系统中彻底沉淀,几乎甚至完全不在使用的数据,而这部分数据作为企业的宝贵财富又不能轻易删除的数据。同时,这部分数据可能会因为企业的发展,流程的再造、重组和优化后,与现有的业务略有不同。如果继续作为决策依据,就可能对企业使用产生误导,从而处于静止或者死亡的状态。这部分通常是指保存时间在5年以上的数据。

通过如上的分析,可以得出结论:数据并不是越多越好,并不是保存期间越长的数据越有用。可以通过一定的技术手段,把这部分进行整理和迁移,释放出所占有的空间,保证活跃数据和留存数据的使用效率。

2.数据的处理方法

目前,数据的处理方式主要可以分为如下四种:

(1)数据避免(Data Prevention):将业务处理过程中不再需保存的数据,通过系统配置实现这类数据不再写入数据库中,避免数据生成的手段。

(2)数据归总(Data Summarization):对于系统中过于明细的数据,在使用中完全不需要的数据,可以通过修改配置直接产生汇总后的数据。

(3)数据删除(Data Deletion):数据库中完全没有使用价值的冗余数据、垃圾数据及无效数据,可以在系统中直接删除。

(4)数据归档(Data Archiving):对于业务上已经不再经常使用的死亡数据,但是因为法律法规、审计等的其他要求,或者不能直接完全删除的数据,则可以通过数据归档的方式,将数据从数据库中选取出来,进行压缩等必要处理后,迁移到外部存储设备,以备查和长期保存。

数据分析、策略和处理效果分析如下图:

根据了解,四种数据处理的方式中,数据避免、汇总和删除主要是针对局部数据,效果不是太明显。而数据归档则是针对整个数据库层面,将数据从数据库中迁移处理,同时还可以按照既定的归档对象和归档条件,建立长期稳定的归档运行计划(AOP~Archiving Operation Plan),定期移出归档数据,即可保证数据量维持在一定的范围。根据经验一般数据归档后,可降低30%~50%数据空间,并保持数据空间维持在一定范围内。

3.数据归档

(1)数据归档总体架构

数据归档的目的是将SAP系统中访问频率低的历史数据迁移至外部存储,以文档的形式保存,同时建立系统访问归档数据的路径。系统总体如下图。

(2)数据的步骤:

1)选择合适的归档对象。

通常情况下,可以通过配置SAP Solution Manager,得出分析报告,找出数据量较大或者增长速度最快的表(Tables),得到数据处理的相关建议。从这些表里面分析得出需要归档的对象(Object,例如,EKKO 是一个大的表属于对象MM_EKKO = 采购凭证),再与业务部门、相关职能部门一起确定数据归档项目的范围。下图举例说明归档对象的确定和处理方法:

2)归档数据处理及查询。

归档数据处理及查询就是利用SAP提供的数据归档开发工具(ADK~Archive Development Kit),对已经确定数据归档范围内的记录,进行选取、创建、删除、迁移和读取等相关操作。具体如下图:

第一步选取(Selection):根据已确定的数据归档范围,从归档对象所对应的表中,找到符合条件的凭证,做选取标识。

第二步创建(Creation):将有标识的数据读取出来,压缩处理后,写入归档文件,该文件以操作系统文件的形式存储。

第三步删除(Deletion):从数据库中删除有标识的记录。

第四步迁移(Migration):将归档文件迁移到外部存储介质中(如磁带、光盘等)。

第五步读取(Retrieval):通过SAP标准的T~code,或者SAP ADK将归档文件中的数据重新读回到SAP中,进行查询。

后续再通过数据重组等操作,释放出数据库中磁盘空间,达到减少数据库规模,提供系统使用效率的目的。

三、数据归档效益分析

通过对SAP系统数据库数据的归档,可以更好地保证SAP系统稳定运行的需要,主要表现在:

1.提升系统性能,改善用户体验

SAP系统归档后,部分历史数据从数据库中迁移出来,从而达到减少数据库数据量的目的。实施数据归档后,系统整体性能提升预计在30%~40%之间,可以明显改进用户体验,降低用户业务处理时间,提高工作效率。

2.降低硬件投资

归档项目实施后,可节省30%~50%的磁盘空间,通过数据周期性归档,可以控制系统数据增长,在目前的系统使用环境下,可以保证企业不再为SAP系统增加新的存储投资。

3.降低系统运行风险

数据归档后,预计可缩短40%~50%的备份时间,为进一步完善数据备份机制提供了空间,可以有效防止备份失败情况的发生,从而提高系统安全性,降低系统运行风险。

(作者单位:中国航空油料集团公司/解放军后勤工程学院)

从1994年正式进入中国30年来,SAP在中国已有300多家用户。康佳、中国石化、红塔集团、中远集团、海尔集团、联想集团、长虹集团、一汽大众、上海通用、李宁集团、三菱电梯、上海浦发行这样一大批行业领头羊在深深意识到ERP重要性的同时,从与SAP的信息投入中获得了巨大的经济回报。

猜你喜欢

数据备份存储空间数据量
泉州高速公路收费系统远程数据备份研究
基于多种群协同进化算法的数据并行聚类算法
海洋数据备份平台的设计和实现
基于大数据量的初至层析成像算法优化
程控交换机的数据备份与恢复技术分析
苹果订阅捆绑服务Apple One正式上线
高刷新率不容易显示器需求与接口标准带宽
宽带信号采集与大数据量传输系统设计与研究
No.4 IDC:2019年上半年数据备份与恢复市场同比增长10.0%
用好Windows 10保留的存储空间