基于数字资源服务的非结构化数据中心设计与构建

2018-04-04仇云龙

中国医学教育技术 2018年2期

仇云龙

南京中医药大学现代教育技术中心，南京　210023

高校数字化校园建设为广大师生提供了一个先进的计算机网络和应用支撑环境,通过一个高度集成的、高性能的应用中心和高可靠性的数据中心，能有效共享教育资源,降低教育运行成本,提高教育资源使用率及教学质量，并能有效地对学校进行全方位的管理[1]。当前高校数字化校园建设中的数据中心定位主要是：实现各个业务系统之间的集成和各个系统之间的数据共享,同时建立基于数据管理和综合性技术方案的共享数据中心,在存放大量数据的同时有效地将数据管理起来,并建立起良好的数据访问管道,保证数据的时效性、完整性和一致性，为有效的决策提供数据[2]。

1　建设背景

国内高校数据中心的建设主要是将各业务系统的数据(主要涵盖人事系统、教务系统、科研系统、学工系统、图书系统、财务系统、OA系统、在线学习系统等)纳入公共数据库，加强不同管理应用之间的数据交换和共享的力度，避免数据的重复维护，提高学校整体工作效率；通过数据中心的建设，提升学校数据整体质量，为领导更准确的决策提供数据支撑。从中不难发现，数据中心的建设建立在各业务系统中以MSS- QL、MYSQL、ORACLE等关系数据库为载体的结构化数据基础之上，数据中心的建立解决了各系统中结构化的数据交换和共享。但对于各业务系统中以文本、图像、视音频等形式存在的非结构化数据的交换和共享缺乏统一管理。

结构化数据是经过严格的标引后的数据,一般以二维表的形式存在。如关系数据库中表/元组和对象数据库中的类型/对象[3]。相对于结构化数据而言,非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等[4]。当前非结构数据普遍采用文件系统存储[5]。

2016年教育部关于印发《教育信息化“十三五”规划》的通知中明确提出，“创新‘网络学习空间人人通’建设与应用模式，从服务课堂学习拓展为支撑网络化的泛在学习”“为学习者享有优质数字教育资源提供方便、快捷的服务，提升教育信息化支撑教育教学的水平”[6]，这就要求高校构建数字化学习环境，将数字资源的提供纳入学校信息化环境建设之中，提供便捷的资源服务。而传统的数字资源库的建设没能从数据中心的角度去设计和建设，能真正服务于教学、科研和学习的数字资源库较少，很难实现网络中各种数字资源库的跨区域、跨部门的共同建设与共享应用[7]。随着资源本体和生成数据内容的大量增值，利用内容管理系统对这些资源进行有效管理变得越来越重要[8]。鉴于此，南京中医药大学在非结构化数据中心的建设和实践中，立足于为用户提供方便、快捷的资源服务。在建设过程中，充分借鉴数字化校园建设结构化数据中心的经验，结合非结构化数据的自身特征，建成了非结构化数据中心，力图为学校的管理、教育科研提供文件、图片、视音频等常用非结构化数据服务，同时，更好地为教与学提供方便快捷的资源服务,实现校内数字资源的统一管理、利用与评价。

2　建设原则

由于非结构化数据不是以固化的二维表的形式存在，因此非结构化数据中心的建设区别于结构化数据中心的建设。非结构化数据虽然在数据采集和数据检索方面明显区别于结构化数据，但二者建设原则基本是一致的。非结构化数据中心建设原则在遵守结构化数据中心建设原则的同时，由于其自身特点也有其建设的特有原则。在实施学校非结构化数据中心的建设实践中，应遵循以下主要原则：

2.1　整体性原则

非结构化数据中心的建设着眼于学校数字资源建设和管理的长远发展，要有利于学校教师个人资源及公共资源的积累与管理，避免资源的分散存储及管理。非结构化数据中心的建设应将个人非结构化数据、公共非结构数据统一管理，建立数据的多维度属性，从而便利数据的应用。

2.2　系统性原则

非结构化数据中心的建设紧密围绕数字化校园和智慧校园建设和应用，主要承担学校非结构化的数据存储、管理与应用，避免非结构化数据孤岛的出现。

2.3　安全性原则

数据中心的网络安全是数据中心安全体系的最基本环节，但是构建全面安全的数据中心，还需要从其他的安全角度，如数据安全、系统安全、信息安全等方面进行相应的安全规划[9]，以文件、图片、视音频等形式存在的非结构化数据信息量远大于结构化数据的数据量，因此数据安全的维护更为复杂。

2.4　开放性原则

只有数据开放，才有可能促进互联互通，才能实现资源共建共享[10]。非结构化数据中心为其他各应用系统资源的有关功能提供开放应用程序编程接口(OPEN API),实现数字资源的统一存储及利用，在提高数字资源便利性的同时提高数字资源的利用率，实现文件一处(一个业务系统)上传多处(多个业务)，以便使用。

2.5　跨终端原则

跨终端自适应发布是数字内容发布的主要发展方向和发展要求，是实现用户个性化需求及提高其阅读体验的重要方式[11]。非结构化数据中心的数据以文本、图像、视音频等形式为主，在当前移动终端(平板电脑、手机)成为获取资源的常用途径情况下，非结构化数据中心须提供多终端环境下的访问，要能满足移动办公和移动学习的需要，支持校园内外随时随地通过各种终端访问非结构化数据中心的资源。

2.6　整体规划分步实施原则

非结构化数据中心的建设区别于结构化数据中心的建设，结构化数据中心的数据是基本稳定的，数据主要由各业务系统采集和生产。而非结构化数据中心的数据除了各业务系统采集和生产外，其提供公共资源服务的数据还需要投入人力、物力、财力去持续建设，因此建设过程中在整体规划的基础上，需要根据需求及经费到位情况酌情分步实施，在非结构化数据库及管理平台建设后，持续地进行资源建设。

3　系统设计

非结构化数据中心定位于学校非结构化数据的统一集中管理、利用和评价，从而解决传统数字资源库建设过程中存在的诸多问题，通过非结构化数据中心的建设将建、管、用三方面的角色清晰定位，业务系统各司其职，进一步提升非结构数据的管理水平、建设水平及使用水平(三方面关系如图1所示)。

图1　数字资源建设、使用和管理三方关系图

非结构化数据中心体系架构的设计分为四层：物理存储层、计算调度层、应用接入层及应用层(如图2所示)：

图2　非结构化数据中心体系架构

①物理存储层主要构建统一的存储中心，实现数字资源的集中存储；

②计算调度层是非结构化数据中心的核心，主要负责处理应用接入层的请求与物理存储层的数字资源实体调度，为请求返回需要服务。该层基于分布式计算调度框架搭建，根据需求可计算集群，满足对可靠性和效率的需求，包含流媒体、检索、数据清洗、电子身份认证/分发、备份等核心服务；

③应用接入层主要提供标准的OPEN API接口，供其他应用系统接入非结构化数据中，对非结构化数据进行相应的操作，包括应用认证、上传、多终端播放、下载、检索、转码、统计分析、监控等接口；

④应用层主要是管理平台及涉及资源应用的各业务系统，如在线学习系统(网络教学平台)、OA系统、常态化录播系统等，非结构化数据中心作为底层基础设施为应用系统提供数字资源服务。

4　建设实践

非结构化数据中心的建设从物质形态看主要包含两部分，一是管理平台的建设，二是资源的建设。平台建设包含非结构化数据库及管理平台的建设，资源建设主要是公共数字资源建设。平台建设是基础，平台建设的成效决定了资源获取的便捷程度，资源建设的多少与好坏决定了资源的服务水平。

4.1　管理平台的建设

非结构化数据中心的管理平台功能模块主要有以下几个方面：

4.1.1资源云平台模块云平台是构建学校底层非结构化数据仓库的核心模块，实现对视频、音频、文档、图片等非结构化数据资源的集中存储，同时具备统一的数据标准来完善对非结构化数据的管理，满足集中管理的需求，提高管理效率。云平台提供标准的API接口，实现与其他应用系统的整合，满足其他应用系统对数字资源的应用。

4.1.2资源门户模块系统主要提供数字资源的检索、浏览、下载等服务(支持多终端访问)，通过构建轻量化门户群来满足学校不同部门的应用需求。系统支持内外网资源的播放，所有访问权限都可以进行后台设定。

4.1.3用户管理模块建立统一的用户管理及组织关系，同时实现与学校数字校园系统的用户对接，实现系统间的统一身份认证，使得教学应用的整合和用户信息的管理更为方便，实现高效的单点登录。

4.1.4资源中心管理模块主要包含系统管理、权限管理、栏目管理、工作流程管理、日志管理及查询统计等。

4.1.5资源维护模块自定义用户角色权限和资源中心栏目的工作流程，实现资源的统一上传、编目、海报制作、审核、打回、修改等操作，借助可视化手段，方便用户对资源进行远程管理，使资源大量应用在教学活动中，给一线师生的教学活动带来帮助，丰富教学的方式和课件素材内容。

4.1.6个人空间模块为每个用户提供个人空间，在个人空间里用户可自定义资源分类，能够实现本地资源的批量上传、分类及资源门户模块资源的收藏管理等。

4.2　资源建设

《教育信息化“十三五”规划》中明确提出：“为学习者享有优质数字教育资源提供方便快捷的服务”，在此背景下，非结构化数据中心的内容建设显得尤为重要。非结构化数据中心的数据按照公开程度分为私密数据和公开数据，公开数据又分为校内公开数据和校外公开数据。非结构化数据中心立足为全校及社会提供资源服务，因此从学校层面出发，非结构化数据中心内容建设的主要任务就是公共资源的建设，主要包含了以下几个方面：

4.2.1采集的资源在各业务系统中,积累了大量文档,可采用相关技术从PDF、Word、Rtf、Excel和Po- werpoint等格式的文档中提取文档标题、作者、主要内容等有关信息[12]，这些信息入库后通过全文检索及资源推送等相关功能提供资源服务。

4.2.2生成性的资源通过学校建成的常态化课堂录播系统，实现对教师教学过程的录制。录播系统将教师的视音频、学生场景、计算机屏幕操作，以及板书等信息准确、实时地记录并合成，生成流媒体课件，录制编码处理后的流媒体课件达到了精品课程建设评审标准的要求[13]。这些数据在教学过程中不断生产，生成的视频经系统接口上传至非结构化数据中心的教师个人空间，教师通过设置可以将资源属性由私有转为公开,从而提供资源服务。

4.2.3学校自建资源学校在办学过程中积累的大量教学资源，如实训现场录像、校园文化系列讲座、名师讲堂、通识教育讲座、国内外知名学者的专题讲座、国家级省市级精品课程等内容，这些资源以前由于分散管理、缺乏全文检索等原因导致资源利用率低，通过非结构化数据中心提供的统一资源服务，使得这些资源的获取变得更为便利。

4.2.4购置资源学校在长期的资源建设过程中也积累了大量的资源，以图书馆数字资源为主。图书馆数字资源是指图书馆存储的数字化信息资源，主要由文献型数字资源构成，包括电子书、期刊、会议论文以及学位论文等数字资源。图书馆数字资源以文献型为主，但还包括图形图像、音频、视频等数字资源[14]。针对这些资源，非结构化数据中心除了支持国际常用格式文件，还能够支持doc、ppt、jpg、pdf、bmp、exe等格式文件的上传及在线播放。针对图书馆的随书光盘资源，专门提供了随书光盘上传手段，使得图书馆馆藏资源也纳入其中。这些资源通过资源开放程度(校内开放、校外开放)的设置，在校内提供便利资源服务的同时又避免了知识产权问题。

4.2.5个人制作资源一线教师在长期的教学过程中制作了大量的教学资源,这些资源也是学校数字资源建设的重要来源，其开发和建设一般由学科教师和专业资源建设者共同完成，主要包括网络课程、课件、视音频资料等[15]。以前由于这些资源比较分散，缺乏可供教师使用的个人云盘，很难达到资源的有效共享。非结构化数据中心通过提供资源云服务，使得这些分散的个人资源能够集中管理，也为资源的分享与利用提供了便利条件和途径。

5　方案实施

5.1　服务器环境配置

非结构数据中心方案在部署时采用三服务器配置,服务器端操作系统采用Windows Server 2008 R2,数据库采用SQL Server 2008,服务器具体配置主要参数如表1所示。

表1　非结构数据中心服务器配置

5.2　业务系统的对接

为给用户提供便捷的数字资源服务,实现校内数字资源的统一管理、利用与评价,非结构数据中心首先需要与学校信息门户系统对接，实现系统间的单点登录和统一身份认证,其次需要与各业务系统中涉及数字资源的模块进行对接。

与业务系统的对接通过OPEN API实现。以网络教学平台为例，系统对接后的工作流程如图3所示。云平台起中间件作用，提供了所有资源的数据存储、资源转码、资源调用和推送、媒体资源的在线播放等资源服务。用户通过网络教学平台上传的文件直接存储到云平台，网络教学平台根据用户请求转发信息至云平台，包括用户的IP地址等信息，获得用户信息后云平台和用户建立文件传输连接，将资源传送给用户，用户发起播放资源实体请求实际上是请求到云平台去播放，在不改变用户使用应用系统原有方式的情况下实现了资源的统一管理、利用与评价。

图3　非结构化数据中心平台与网络教学平台对接工作流程

6　建设成效

通过非结构化数据中心的建设，进一步完善了学校数字化校园建设过程中数据中心的建设，实现了对非结构化数据的统一管理、利用与评价。建成的非结构化数据中心从服务功能上来看其成效主要有两个方面：

一是建成学校的非结构化数据的校园私有云平台，为多种角色用户提供非结构化数据的资源服务。实现了学校内部非个人用户(各行政科研机构、学院教研室等)的非结构化数据的统一存储、管理和利用，解决了原先各部门、学院各自建设、维护和管理中存在的重复建设和投入、缺乏专业人员维护、数据交换困难等诸多问题；通过私有云为校园个人用户提供云盘服务，为个人用户提供便利的非结构化数据管理与使用平台，个人资源的交换与共享也有了平台支撑。

二是建成学校非结构化数据的OPEN API，为学校内各应用系统提供资源模块的接入服务，实现校内资源的统一管理、利用与评价。以网络教学平台为例，在与非结构化数据中心接口对接之前，网络教学平台有自己的资源模块，师生花费时间和精力建设的资源只能使用在该平台，通过与非结构化数据的对接后，网络教学平台通过非结构化数据中的OPEN API实现资源模块的相关功能。对接后网络教学平台中的资源实体存在于非结构化数据中心，这些资源通过OPEN API接入其他系统提供资源服务，从而实现资源的统一管理、利用与评价。

南京中医药大学在结构化数据中心建设经验的基础上着眼于提供便利的数字资源服务，进行非结构化数据中心建设的实践，为高校建设私有云、构建非结构化数据中心进行了探索与实践,为高校建设公共数字资源库、私有云提供可供借鉴的方案。虽然非结构化数据中心的建设不是一蹴而就的工作，尤其是非结构化数据中心管理平台建成后如何激发作为资源建设主体—教师建设资源的积极性，为翻转课堂、混合学习、MOOC等形式的课程改革及泛在学习的开展提供资源服务还有待解决，但只要立足提供使用便捷、功能完善的统一资源服务，非结构化数据中心的建设就会取得成效，以充分发挥其在校园信息化环境中的资源服务作用。

[1]万里鹏,陈雅,郑建明.中国高校数字化校园建设与思考[J].情报科学,2004(3):356-362

[2]戚丽,蒋东兴,武海平.校园数据中心建设与管理方法的探索[J].教育信息化,2002(S1):54-58

[3]陈金水,王山金.非结构化数据存储管理的实用化方法[J].计算机与现代化,2006(8):25-31

[4]瞿晓静.非结构化数据库技术综述[J].农业图书情报学刊,2004(7):8-10

[5]谢华成,陈向东.面向云存储的非结构化数据存取[J].计算机应用,2012(7):1924-1928

[6]中华人民共和国教育部.教育部关于印发《教育信息化“十三五”规划》的通知[EB/OL].http://www.moe.edu.cn/srcsite/A16/s3342/201606/t20160622_269367.html,2017-07-11

[7]徐明,陶秋容.网络环境下高校数字资源库建设与应用现状调研分析[J].中国电化教育,2012(5):83-88

[8]韩锡斌,王玉萍,张铁道,等.迎接数字大学：纵论远程、混合与在线学习—翻译、解读与研究[M].北京:清华大学出版社,2016(4):386-401

[9]简伟光,汤培新,陈能,等.数据中心等级保护安全设计方案[J].信息化建设,2016(3):60-62

[10]赵川,莫世荣.开放性视角下浙江教育资源公共服务平台数据流的设计和应用[J].中国教育信息化,2016(21):51-59

[11]龚楚麒,曾元祥,方卿.数字内容跨终端自适应发布趋势探讨[J].信息资源管理学报,2013(2):79-85

[12]马惠芳.非结构化数据采集和检索技术的研究和应用[J].上海:东华大学，2013(1)：34-40