◆朱 荣 高 瑞

（汉江师范学院 湖北 442000）

“大数据”时代科学数据整合研究

◆朱 荣 高 瑞

（汉江师范学院 湖北 442000）

随着社会经济不断发展以及科学技术水平的不断提高，人们的生产、生活水平也有了极大的改善。在当今的21世纪对信息、数据等进行管理和分析已经成为必然的趋势，在日常的生活中以及工作中，大数据作为新时代的力量渗入到我们生活的各个方面，扮演着越来越重要的角色。政府数据分析、工程项目管理等多个方面都开始进行有效的管理，推动自身信息化的建设和工作效率和质量的不断提升。信息与网络技术的不断发展当中，通过各类的科学研究产生了大量的原生态数据，又通过对数据资源的分析整合，可以使大数据运用更加便捷，实现数据的综合利用和数据资源的共享，帮助数据资源被有效的利用以及推动政府各项职能的实现有着十分重要的意义，大数据已经影响了我们今天生活的各个方面。在本文笔者将会研究大数据在今天的发展态势以及分析大数据时代下科学研究的特点和科学研究中大数据整合所面临的诸多问题与挑战。

大数据; 数据整合; 数据分析

0 前言

21世纪的中国是一个科技不断发展的时代，科学技术正在蓬勃发展，对于各类技术的研究开始走向人们的视眼，科学研究在计算机、信息网络技术方面的发展下产生了大量的数据，贯穿了计算机模拟以及传播的多个过程当中。数据资源可以通过一些图书、论文的形式来进行发表，也可以通过实现结果的记录、通过仪器观察得到的数据来展现等等，而我们现今的重要任务就是通过科学技术来对这些数据资源进行整合，避免将大量的科学研究得到成果因为无法保存而失去价值，让大量准确真实的数据失散在实验室当中，我们需要将这些数据有效的保存起来，让更多的人能够获取到有效的信息，让科研人员可以通过这些数据进行进一步的研究，避免研究过程的杂乱和重复，推动科学研究的有效进行。未来的科学研究是通过数据来推动的，大数据是未来社会不断发展的无限动力，大数据推动人类生活走向科技和先进，推动科学技术向前沿的方向发展。科学研究作为一项巨大的项目，并且涉及国家战略发展的方方面面，研究中所涉及的数据资源正有待我们有效的解决。

1 “大数据”时代科学数据整合中面临的问题

在不断发展的社会中科学技术的作用越来越重要，科学技术都在推动着人类社会的每一项进步。例如不断发展的计算机技术、通讯技术、生物医药等都在一定程度上为整个国民经济水平的发展和提高起到了重大的作用，大数据时代之下智慧城市的建设和规划，大数据时代下科学教育的发展以及政府数据的分析治理等等都越来越受到重视。大数据是将计算机科学、统计学以及社会学等多个领域的资源结合起来，运用科学的管理手段将这些信息以数据的形式储存起来，达到数据的保存和共享，为科学研究和其他技术研究提供服务。

人们越来越能够意识到数据对于企业，对于科研以及政府各项职能的发展所产生的重要作用，但是却忽视数据爆炸性增长中所存在的一些隐患和问题。每一项科学研究都在产生大量的数据，形成成功或者失败的研究成果，在这一个过程中必然会有大量有价值的信息和数据，以后的科学研究需要对这些数据进行分析整合，充分实现数据所产生的价值以及带来的作用。大数据不仅仅是一项技术工程，更重要的是他与我们的生活实际运用联合起来而发挥了巨大的作用，大到地球科学、生命科学以及高能物理研究等多个方面，小到我们日常的生产生活当中。例如互联网技术的发展，提供了人与人之间连接的平台，提供了创业的平台，也提供了商业交往的平台，这些都是基于大数据的运用和发展。京东、唯品会或者淘宝等都因大数据走向我们的生活，我们可以在上面购物，与卖方直接跨地区不受空间限制的沟通，大数据时代已经向我们走来。但是在这之中有一个问题需要引起我们的重视，就是在科学研究当中应该如何去获得相关的数据，如何去寻找与科学研究相关的数据库。可以通过科技文献、实验室的报告、实验室的结果分析以及相关的视频和图片等等来获取相关的数据辅助科学研究的顺利进行，大数据时代科学数据整合仍然需要不断的努力和探索新的方法。

2 大数据时代科学数据整合研究中存在的问题

虽然大数据时代已经来临，科学技术也在突飞猛进，但是在发展中仍然存在着诸多的问题，大数据时代的科学数据研究整合面临着诸多的挑战，比如说对于相关的科学技术进行描述的时候所运用的语法不统一，有的以文本形式来对数据进行保存，有的以视频的方式来进行数据的保存，但是由于科学研究中的实验室所用到的系统都存在差异，所以在对相同信息的文本或者视频来进行解读的时候必然会产生一些出入，影响相关研究中对数据进行分析。除了科学数据整合中语法上存在差异之外，科学数据的元数据之间也存在着不同，元数据之间格式异同，同样的科学数据在应用中会应格式不同而有所差别。我们应该找到一种可以从元数据格式到集成元数据之间的正确的映射或者说正确的解决方法，能够使得元数据自身所带有的不完整性得到一定的改善和补充，帮助科学研究工作的顺利进行。在大数据时代科学数据的整合研究之中还存在一个重要的问题就是不同的数据之间缺乏一个有效的数据关联和连接体，不同的数据之间没有有效的语言连接手段，一般来讲科学数据研究必然由多种元数据组合而成，科学家需要对各种相关的数据进行分析组合，因此使得科学数据无法得到有效的查询，探索数据之间各个实体的关系和连接方法有着巨大的意义。

3 大数据时代科学数据整合的有效方法探析

科学数据的整合顾名思义就是要将在科学研究中各类相关的数据联系起来，进行数据的查询、筛选和整合，实现数据资源的共享和分析，不同的数据之间能够有效的联系和结合，共同服务于科学研究的项目。在科学数据的集成过程中也就存在着一个关键性的问题就是数据之间进行连接的中间件，如何构建这种可以方便数据整合的中间件，解决好这一问题也就会解决大数据时代科学数据整合的困境。

4 将各个元数据信息转换为全局虚拟视图

大数据时代探索数据资源科学整合的方式尤为重要，通过把不同数据的元数据信息进行转换，使得各个异构数据库之间的信息可以通过正确的中间件组合成为全局性的虚拟视图。让每一个异构数据库按照相关的规定通过包装器转变为自己的XML视图，并且可以对XML进行分析和选择，使数据更加有效和精准，这种中间构建是将异构数据进行有效的处理。在上面描述中笔者已经提到在大数据时代不断的发展之下，科学数据研究整合之中存在着一个重要的问题就是不同格式的数据之间没有相关的语言格式,而对于此类问题,我们也应该寻找相对适应的中间件，单是依靠语法上面的数据已经无法满足更多科学工作者的需要，也无法满足现在社会科学技术不断兴盛的需求，所以语言模型的中间件构建也显得十分的重要。也就是说可以在XML包装器上再另外的进行叠加,加上CM-Wrapper包装器，实现不同语言格式之间数据的联合搜集和整合，将不同的数据组合成为一个整体，元数据的转换以及中间件的建设对于科学数据资源整合至关重要。

5 科学数据集成模式中映射关系的构建

无论是哪一种中间件的构建都会涉及到原始数据以及用户查询意图所产生的数据，中间件的构建涉及到数据自身以及科学家对数据资源的应用，两者之间需要通过映射模式组合生成，所以对模式之间映射关系的构建显得十分重要，其中最为常见的是GAV和LAV两种方法。GAV是指将数据源映射到全局的视图当中从而获得较高的查询效率，LAV的方法是更加适用于数据变化较大的数据源，这种方法中的映射关系有着良好的扩展性。这两种方法在科学数据研究整合当中有着各自的特点，但对于数据的整合运用都有着巨大的有利之处，所以在大数据时代对于科学数据进行有效的处理是我们必须要面对的挑战。大数据时代高效的利用各种数据分析方法进行科学项目研究或者说相关数据产业的构建都有着重要的意义，小到在图书馆数据管理、电视营销数据等中涉猎，大至科学产业数据整合与政府网站信息资源分析都在实现其社会价值。

“大数据”不仅仅是一个概念性的表达，更是一个时代发展的深刻体现，大数据中蕴含着时代发展的无限动力，科学技术腾飞的基础条件，在不断发展的今天，我们要意识到大数据时代所带来的教育和挑战，认识到科学数据研究整合的意义所在。

[1]白如江，冷伏海.情报理论与实践，2014.

[2]方璐.大数据时代的科学研究方法.浙江工业大学，2014.

[3]马晓亭.大数据时代图书馆数据整合系统构建研究，图书馆建设，2014.

[4]陈亚东，孟宪学，赵瑞雪，寇远涛，鲜国建.我国苹果产业科学数据整合系统的设计与实现.中国农业科技导报，2016.

[5]吴宁博.大数据时代图书馆科学数据生命周期管理策略研究.贵图学苑，2015.

[6]张兰廷.大数据的社会价值与战略选择.中共中央党校，2014.

[7]金元宝.大数据时代政府网站信息资源整合研究.东北财经大学，2015.

[8]刘峰.刘峰大数据时代的电视媒体营销研究.华东师范大学，2014.

汉江师范学院科研项目（项目编号:2014B19）。