苏毅

（河北省工业和信息化厅信息中心，石家庄 050000）

1 引言

经济新常态阶段以大数据、智能化、人工智能和互联网为代表的新一代信息技术正在深刻改变着我们的生产方式和生活方式。大数据技术已经成为我国产业结构调整、实现科技创新的重要技术支撑。因此，在竞争日益激烈的市场环境下，如何利用大数据技术成为企业占据市场主动性的关键因素。随着大数据技术在社会各领域的广泛应用，大数据技术必将呈现出更快的发展趋势。

2 大数据技术的概述

大数据技术是当前的“热词”，如《华尔街日报》将大数据时代、智能化生产以及无线网络革命称为引领未来繁荣发展的重大技术变革。目前，学术界对于大数据还没有形成一个公认的定义。从技术能力角度分析，大数据是指规模超过现有数据库工具获取、存储、管理和分析能力的数据集合，并同时强调并不是超过某个特定数量级的数据集才是大数据。大数据技术具有以下四个特征：①非结构化数据的超大规模。大数据相对结构化的数据要快10到50倍，而且其增长速度非常快。②大数据的异构和多样性。大数据技术可以通过不同的形式存在，如文本、图像以及视频等，这些大数据数据没有固定的模式。③大量的不相关信息。大数据实现了对未来趋势的分析与预测，大数据信息之间没有内在的必然性。④实时分析。大数据技术最显著的特点就是实现了对数据库资源信息的实时搜集，而且属于精准化的分析处理。

结合大数据技术结构原理，大数据处理就是在复杂的数据中提炼有价值的信息。具体的大数据处理流程为：第一，大数据采集技术。数据是大数据知识服务模型的根本，大数据采集是大数据处理的基础，大数据采集主要是通过大数据智能感知层和基础支撑层实现的。第二，大数据预处理技术。大数据预处理技术是对已经接受的数据进行辨析、抽取以及清洗的操作。具有的流程为：①抽取，由于大数据的结构、类型不同，因此，在数据抽取的过程中需要将不同类型的数据结构转化为单一的构型，以此达到可以快速处理数据的目的。②由于大数据信息量比较大，尤其是一些信息是我们不关注的，同时抽取的信息可能会出现错误，因此，需要通过大数据预处理技术过滤掉不需要的信息，以此提炼出有效的数据。第三，大数据储存及管理技术。大数据储存技术就是将收集的数据信息通过存储器存储起来，并且进行相应的管理。大数据存储与管理是大数据技术的关键环节，其重点需要解决的问题就是实现对大数据信息的有效管理。该环节的关键是解决复杂结构化、半结构化以及非结构化大数据管理与处理技术。当然在实践中为了满足对数据的分析与提取，数据存储必须要满足以下两个条件：存储基本框架必须要具有稳定性，尤其是要在时间上具有稳定性；存储子系统必须要具有可以提供查询和分析数据的功能。第四，数据分析。数据分析是大数据技术应用的最为重要的阶段与功能，数据分析的目的就是通过对海量信息的提取以便做出最科学的决策。结合大数据技术分析成果，大数据分析常用的方式为：①数据可视化。数据可视化就是通过有效的图形传递信息，数据可视化在现代工业制造领域有着广泛的应用价值，如BIM体系就是充分利用大数据技术的可视化功能。②统计分析。统计分析则是利用大数据的自动预测分析功能，按照一定的规律在海量的数据库中自动提取相应的数据信息的过程。③数据挖掘。数据挖掘就是在海量的信息中提取出人们事前不知道的但是潜在有用的信息和知识的过程。

3 大数据技术的发展趋势

随着互联网技术的不断发展，尤其是国家将大数据技术发展作为基本战略之一后，大数据技术在社会各领域内的应用不断拓展，开放共享已经成为大数据资源的关键优势。但是，由于大数据技术缺乏统一的规范标准，尤其当前大数据的发展存在着数据框架落后的问题，如物联网等新技术涌入，所带来的大量数据无法纳入当下的数据框架中。由物联网、车联网各种各样的物理信号所带来数量级的有效数据，是需要面对的新数据局面[1]。因此，未来我国大数据技术发展呈现以下趋势：①数据资源化。大数据已经成为企业占据市场的关键因素，大数据在社会各领域内将有更多的应用平台，如大数据技术不仅在人们日常出行中得到广泛应用，而且还在工业设计、生产中得到使用。因此，大数据技术必然会呈现出数据的资源化发展趋势。②基于云的数据分析平台将更趋完善。首先，云计算为大数据提供了可以弹性扩展、相对便宜的存储空间和计算资源，使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。其次，云计算IT资源庞大、分布较为广泛，是异构系统较多的企业及时准确处理数据的有力方式，甚至是唯一的方式。当然，大数据要走向云计算，还有赖于数据通信带宽的提高和云资源池的建设，需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。③大数据的安全性日益提升。随着大数据技术的不断发展，大数据技术的信息共享性虽然为人们带来了巨大的便利，但是，其存在的安全性也制约着大数据技术的实际应用。因此，大数据技术的安全性问题将成为我国大数据技术发展所必须要解决的问题之一。通过文件访问控制来限制对数据的操作、基础设备加密、匿名化保护技术和加密保护等技术正在最大程度的保护数据安全。④大数据分析与挖掘。在数据量迅速膨胀的同时，还要进行数据的深度分析和挖掘，并且对自动化分析要求越来越高，越来越多的大数据数据分析工具和产品应运而生，如用于大数据挖掘的R Hadoop版、基于MapReduce开发的数据挖掘算法等。

4 提高大数据技术发展的具体对策

大数据技术已经成为人们生活生产所不可或缺的重要技术支撑。河北省“大智移云”发展领导小组办公室出台的《河北省大数据产业创新发展三年行动计划（2018-2020）》明确提出要大力发展大数据产业，培育发展数据经济新动能，建设网络强省。因此，结合相关工作实践经验，提高大数据技术发展需要做好以下工作。

4.1 加强大数据人才培养，提升大数据后备人才素质

基于大数据产业的快速发展，暴露出我国大数据人才不足问题，尤其是缺乏高素质大数据技术应用型人才，因此，一方面我国要加大对大数据技术人才的培训力度，鼓励网络科技企业加强人才培养，定期组织员工深入到优秀的网络企业学习深造。同时，国家要从战略角度出发，鼓励高校开设大数据技术专业教育，提高大数据专业人才培养速度，如高校要深入开展订单式人才培养，通过与企业的校企合作，提高学生的实践能力，为我国大数据技术发展培养优秀的人才；另一方面要加强人才引进力度，通过人才引进提高人才整体素质，如河北省实施“百人计划”“巨人计划”等引进高端大数据人才，可以有效提升河北省人才储备质量。

4.2 健全市场培育机制，建立完善的大数据评估体系

健全市场培育机制一方面要通过政府的引导机制，如政府部门要加强对大数据技术产业的采购力度，鼓励政府部门通过服务外包等模式依托专业企业开展政府大数据应用，降低社会管理成本。另一方面，鼓励社会资本投入大数据产业，重点对政务数据、公共服务领域数据开展采集整理和挖掘分析。大力推动大数据应用试点示范，加快大数据推广应用，培育大数据应用市场。

4.3 提高大数据核心技术，提升大数据技术的安全性

提高大数据技术还必须要解决大数据技术的安全性问题，积极培育发展安全咨询、测评认证、风险评估等第三方服务机构。加强关键信息基础设施安全防护，建立完善金融、能源、交通、电信、统计、广播电视、公共安全、公共事业等重要数据资源和信息系统的安全保密防护体系，加强对涉及国家利益、公共安全、商业秘密、个人隐私、军工科研生产等信息的保护。

总之，基于大数据技术的不断发展，加强大数据技术的创新与发展是促进经济结构转型升级的必然举措，因此，基于当前大数据技术发展现状，我国必须要进一步加强人才培养力度，强化政策指导，建立规范的大数据产业体系，推动大数据技术的可持续发展。