唐洁

（怀化职业技术学院 湖南省怀化市 418000）

数据对于现代化企业发展具有重要的意义，尤其目前处于大数据、云端数据的时代，数据的价值和潜力发挥的作用越发明显。大数据分析融合和各种前言互联网技术，基于云数据体系来帮助企业进行布局，预测企业的经营情况，发现企业潜在的客户成为企业优胜劣汰的制胜法宝。因此基于云计算技术，企业怎样利用现有条件以及硬件、软件基础，完成不同固件、设备之间数据的同步；对于实现数据同步安全性具有重要的作用。

本文通过研究数据同步系统下数据同步的基本原则，基于ETL体系，来进行大数据分析展示系统的数据同步方案设计与检测。

1 数据同步的基本要素

在数据分析、同步过程中，为实现数据的完整性和高效性，常会引入数据同步参量中的时间戳，又称为同步锚（Sync Anchors）。SA 一般和数据库进行关联使用；SA 进一步可细分为Last 时间戳、Next 时间戳；SA 常在数据同步之间就会被采纳；Last 则在对象发布数据同步之前实现；Next 则表示发布数据同步之时实现的时间节点。

同步在不同用户端建立各自的时间戳并发送给对方，来实现交换同步时间的效果。一般来说，同一个数据项可同时被不同的服务端修改、但也会存在一定的隐患，造成数据同步冲突协议的发生；因此在数据同步协议模块一般会在制定的规则下进行数据同步关联。

2 系统需求分析

在量化数据时代，不同类型的数据如结构数据、日志数据、网页数据、地理数据等类型扑面而来。但这些不同数据类型具有以下特性。

（1）数据容量逐渐庞大，由以往的TB 级已经发展成为PB 级；

（2）数据数量和种类涉及较广，涵盖了数据结构的各种类型；

（3）以HDFS 为代表的数据文件，可满足不同企业之间的数据要求，不仅增加了数据的兼容性和安全性，也一定程度上增强了文件数据被不同设备、终端同步的速度。HDFS 以其优良的特性获得了各大互联网公司的青睐，纷纷研究和部署相关数据程序。

大数据时代，为满足数据高性能要求，ETL 也获得飞速的发展，但从目前的发展模式来看，ETL 远远还没有能力处理庞大数据的能力。

从目前来看，各大企业之间为提高数据的储存性能，考虑数据之间交互性较多，同步关联要义较多；企业往往会采用不同的数据源来进行数据的分类甄别；以Map Reduce 为发展模式的分布式计算机发展，为数据的结构化存储提供了新的发展契机。

3 基于大数据的ETL体系结构设计

3.1 ETL体系结构设计

元数据作为描述数据类型在ETL中可保存数据源的定义、协议、规则以及数据同步过程等物理信息，

ETL 需要元数据协同化，所以元数据的高低将影响ETL 性能，通过在元数据下来进行ETL 体系的结构化研究，也可对元数据进行逆向管理。

基于元数据的ETL 主要包括多个模块，具体如下所示：

元数据管理模块是系统的基石，不仅为元数据的定义和管理提供了大量框架协议，而且还可以抓取ETL 的数据结构，实现对云数据的基本功能的修改和完善。

数据抽取功能可对数据本体进行协议修正，根据修正的抽取规则抽取元数据。

数据访问模块屏蔽了数据源之间的差异，提供数据抽取的通用接口。

3.2 ETL体系结构

数据质量关乎ETL 设计过程，数据本身质量的高低对于数据分析、数据同步等具有重要的作用；但以往的ETL 结构体系中对于数据的质量和安全性没有实施监督、控制，无法对数据进行实时评估；造成由于数据本身质量的原因，使得ETL 体系结构下数据问题层层出现，无法对高质量数据进行稳定输送。

基于数据质量的 ETL 体系结构主要包含以下模块：数据质量框架、ETL 协议基础、元数据框架；其中ETL 协议是系统必备的关键要素，基于此模块可对数据过程进行实时控制，并基于控制要义完成对应的清洗过程；工作流程贯穿整个数据同步的过程，其中也包括元数据的清洗协议；元数据模块作为基础模块则解释系统中的数据结构的定义。

4 同步系统模块设计

4.1 服务器数据同步模块设计

服务器数据同步模块是同步服务器的核心功能模块，整个服务器也围绕它进行设计。服务器数据同步模块主要包括服务器同步引擎、Synclets、数据加密以及同步源SyncSource 四部分。

4.2 同步服务器数据库设计

同步服务器数据库设计如该表主要字段如表1 所示。

5 同步系统数据检测测试

云数据同步协议和与终端服务数据交互协议大同小异，唯一不同之处在于所服务的终端系统接口技术不同。为对本同步系统数据进行全方位的检测，本文基于不同服务终端的基础上，实现对PC端和数据同步服务器进行协同配置，以达到功能性要求。具体流程主要包括，首先配置相关系统、URL 修改、同步数参量设置、日志确定、设备参量匹配等；完成配置后，编辑需要进行同步的名片项。目前支持对名片中的三种类型信息的编辑，分别是通用、个人信息和商务信息。其中，通用为名片的基本字段信息；个人信息则是一些更为详细的个人信息，包括家庭地址、邮件地址等；商务信息主要包括一些个人商务信息，包括职位、商务电话等。

表2：测试用例

此外，功能侧重基于设计文档为契机，对同步系统的每个模块进行检测是否达到客户标准，是否可实现预期的效果。

5.1 功能易用性测试：

功能测试包括系统的便携性和操作性，可分批次达到操作的便携性，进而达到客户所需要的简单型操作，即可实现功能的实现。

5.2 表单和业务处理

结构数据获取都是通过表单进行的，表单提交的数据最终经过各种处理保存到数据库，并将返回的结果展现给用户。这其中需要对数据的提交、验证、业务逻辑的处理、数据库的保存以及各个子功能模块间的协作等进行测试验证。功能是系统的基础和核心，需要反复进行测试，特别是业务逻辑部分。

5.3 连接

界面测试中的连接是对具体形式和位置的测试，而这里的连接则侧重于功能的连接，需要验证连接是否正常，能否说明具体的位置等。

下面选择性的列出几个功能点的测试用例，如表2 所示。

6 结论

数据对于现代化企业发展具有重要的意义，尤其目前处于大数据、云端数据的时代，数据的价值和潜力发挥的作用越发明显。基于云数据平台以及硬件设备的不同需求下，为提高数据交互、同步之间数据的安全性和可靠性，研究数据同步方案对于企业发展具有显著作用；本文通过研究数据同步系统下数据同步的基本原则，基于ETL 体系，来进行大数据分析展示系统的数据同步方案设计与检测，为了在云计算环境下，提供安全的、可靠的、可定制的数据同步服务。