APP下载

关于大数据思想在统计工作中的应用之我见

2019-09-10倪德志

科学导报·学术 2019年43期
关键词:智能时代统计工作大数据

倪德志

摘  要:随着IT新技术的迅速发展,全球信息化都进入了一个新的历史阶段,而大数据就是这个高科技时代的产物。如何推动大数据思想在统计工作中应用,利用大数据推动统计工作再上新台阶,更好地发挥“参谋部”、“信息窗”、“晴雨表”的作用,如何抢抓数字经济变革的新时代机遇成为一个课题。作者拟就大数据思想如何在统计工作中应用谈点个人看法,供参考。

关键词:大数据;智能时代;统计工作

党的十九大对建设现代化经济体系作出重要部署,提出建设网络强国、数字中国、智慧社会,推动互联网、大数据、人工智能和实体经济深度融合。利用大数据推动政府治理能力的提升,加快公共数据开放共享,推动大数据在科学决策、政府管理和公共服务等领域的应用,助推简政放权和万众创新势在必行。笔者认为推动大数据思想在统计工作中应用必须要做到以下三点:

一、充分认识大数据的“4V”实质,为大数据顺利应用打牢思想认识基础

大数据顾名思义数据量必须大,建设什么样的数据库用何种方式来承载海量数据成为需解决的第一个问题;大数据类型繁多,不仅仅包括字符、数值等数据,还包括网络日志、音频、视频、图片、地理位置信息等等,对多类型的数据如何进行数据处理也是必须解决的问题;第三个特征是海量数据价值密度相对较低,无处不在的信息感知和采集终端为我们收集了海量的数据,但这些数据价值密度较低,如何使用新算法、新技术高效的完成数据的价值“提纯”,是亟待解决的第三个问题;传统数据的采集、挖掘和应用对实效性没有要求,而大数据对时效性要求高,数据处理要求速度快,如何及时取得数据并根据数据快速挖掘分析得到所需结果成为第四个问题。

在大数据时代,我们必须要转变传统观念,改变传统思维模式,才能确保为大数据在统计工作中顺利应用扫清思想观念障碍。

首先颠覆观念的转变是,大数据处理的是全体数据而不是随机样本,以前在统计工作中常常用到的随机抽样、样本推算整体在大数据里面被摒弃掉了,大数据时代,我们可以利用更多的数据,甚至就是对能采集到的全部数据进行数据处理;第二个颠覆观念的转变是从对数据的精确性要求变为接受数据的不精确性或者说混杂性,以前我们尽可能对采集到的数据要求精确,主要原因是因为数据量太小,而现在拥有了大数据,通过技术手段哪怕忽略了部分微观层面上的精确度,但依然可以掌握事物大体的发展方向,依然可以在宏观层面做出正确判断;第三个颠覆观念的转变是由寻找事物之间的因果关系转变为寻找事物之间的相关关系,在统计工作中我们以前都是希望通过已有的数据来推断未知的数据就是典型的寻找因果关系,而在大数据分析的帮助下,通过相关关系,我们虽然不能准确地找出某件事情发生的原因,但是会提前知道这件事情即将发生。

二、统一标准规范,推动大数据思想在统计工作中的应用

(一)构建统一的数据标准规范体系。通过新的信息技术构建统一的数据标准规范体系,打造具有完整数据承载能力的数据中心(系统)势在必行。通过将元数据描述数据的思想引入数据中心建设中,建立起通用的元数据指标体系,确保每个指标横向可比、纵向可追溯;通过自定义建表、自定义审核、自定义汇总、自定义查询、自定义导出五个“自定义”功能构建起统一的数据标准规范,将不同格式的数据通过数据标准规范转化为固定格式的数据;根据对统计数据来源不同将数据划分为五种类型,分别为自采数据、部门数据、网络数据、购买数据、政务大数据,根据统计工作的实际情况,做好不同的类型数据的接收,是实现大数据思想应用的前提条件,打造的数据中心可以通过接收、清洗、转换、装载的方式将任何数据处理成统计调查需要的数据,面对复杂多样的数据来源打造出符合统计工作要求的数据源。

(二)构建统一的软件系统标准接口规范体系。当前数字经济正在颠覆传统商业模式和资源利用方式,加速向经济社会各领域、各环节渗透和覆盖,深刻改变着传统经济的生产方式、商业模式和发展轨迹,在这个互联互通和开放共享的时代,作为数字的权威发布者,我们需要各行各业的数据,需要不同形式的数据,建立统一的软件系统标准接口规范体系势在必行,通过软件系统双方互相认可的数据交换机制、数据传输加密验证机制建立统一API接口,对接不同软件系统,实现不同软件系统数据的自由流转和实时交换,可以解决大数据应用场景中不同数据源、非结构化数据不可实时使用的问题,为在统计调查工作中实时分析处理大数据打通壁障。

(三)构建统一的数据安全体系。在推动大数据思想在统计工作应用时,除了保质保量高效的完成采集和处理数据任务,同时也要注意数据的整体安全性,在建设系统时一定要构建数据安全中心,安全中心负责对所有系统进行统一安全管理,强化安全管理和数据隐私保护,增强安全技术支撑和保障能力,依靠完备的数据安全标准,建立管理严密、措施完备的数据安全防护体系,在推动数据的快速、实时、无缝流动的同时,实现数据安全事件快速响应和应急处置。

(四)坚持用系统性思维、平台性思维做指导。推动大数据应用的数据处理体系,绝对不是一个程序或者两个系统就能独立完成的,必须要用系统性思维、平台性思维做指导,整体考虑数据处理体系的建设工作,并坚持循序渐进原则,充分考虑体系需具备完整的数据承载能力、多系统数据的自由流转和实时交换能力、以“微服务”形式将各业务系统融合的能力、保障系统数据的整体安全性能力、适用对不同媒体发布數据的能力。树立系统性思维、平台性思维,在更高的层面上思考如何全方位、多视角、多维度认知大数据,如何集合更多人的智慧与力量、集中方方面面的数据、整合多种新技术来提高更为深刻、全面的数据洞察能力,才能搭建起一体化高可用的平台,才能更好的掌握和使用大数据。

三、遵循大数据发展规律,结合工作实际,推动统计工作水平大提升

随着大数据时代的来临,大数据技术呈现井喷状态,大数据的商业价值正在被充分挖掘并在市场竞争中成为新的利润增长点,大数据标准体系初步形成,数据仓库、数据分析、数据挖掘这些词汇也被大家熟知。

一是对现有数据来源与生产过程进行更好的把握,通过业务系统完全掌握现有数据的产生过程和评估方法;二是要建立外部数据的网络采集或者交换渠道,用网络采集数据和交换到的数据对现有数据开展评估,在成熟的时候建立相关指数,对现有发布数据进行佐证与评估;三是通过标准化的流程提高数据质量和数据管理能力,做到上述数据的跨专业的开放共享;四是在上述过程实现后,将工作向大数据推进,数据库升级为数据仓库,提升装载能力和清洗能力;将数据规范化升级为数据语义引擎,解决非结构化数据的多样提取性解析带来的挑战;将数据查询升级为可视化分析,实现直观展示数据,让数据自己说话;将业务流程逻辑审核升级嵌入数据挖掘算法,深入数据内部,挖掘价值,不断提高预测性分析能力。

四、结束语

大数据为我们看待世界提供了一种全新的方法,任何决策行为不再是凭借经验和直觉做出,而是基于数据分析理性做出判断。将大数据思想引入统计工作,推动大数据在统计工作中落地生根,必将为推进统计调查现代化建设注入强劲动力,掀起一场统计改革发展的新高潮,推动统计事业的继续高水平发展,谱写新时代统计工作新篇章。

参考文献

[1]  苗誉威.大数据环境下统计信息化建设的思考[J].信息通信,2015(12).

[2]  吉鹏宇.关于大数据时代统计模式变革的思考[J].中国统计,2018(6)

猜你喜欢

智能时代统计工作大数据
世界机器人总动员
新媒体时代食品安全迎来智能时代
加强基层统计工作 夯实统计工作基础
如何发挥新时期统计工作的作用之我见
探讨强化和完善水利统计工作的相关思考
基于大数据背景下的智慧城市建设研究