APP下载

浅析大数据的应用与利弊

2021-12-02杨宁

商品与质量 2021年44期

杨宁

中国联合网络通信有限公司莘县分公司 山东聊城 252400

随着云时代的来临,大数据也吸引了越来越多的关注。大数据应用范围广泛,影响着生活的方方面面。因此,国家要核心数据要进行严格保护,要区分好涉密数据,对非涉密性大数据的共享也要做到有效的管理,加强国际间的交流与合作,积极应对国家大数据秘密保护挑战[1]。

1 大数据技术概述

1.1 大数据

大数据指的是在相应时间内无法用常规方法对信息开展采集、捕捉及管理的数据集合,是需要借助其他处理手段方可有效提炼信息价值的资产。总的来说,大数据具有数据存储量大、多样性、高速性等特征,其中,数据存储量大表明大数据的数据量十分庞大,如今在一些大型企业、专业工业计算机中的数据容量可达到EB级别;多样性表明大数据既包含以往的结构化数据,还包含广泛采用文件系统存储的半结构化数据及非结构化数据;高速性则表明大数据要求数据分析处理应具备实时性。通常而言,大数据的处理流程主要可分为:数据采集与集成、数据分析及数据解释[2]。

1.2 大数据的关键技术

对于大数据的关键技术而言,主要包括数据采集技术,数据储存技术,数据表示、检索与访问,数据应用与深层挖掘等,具体而言:①数据采集技术。数据采集技术是大数据技术实现各项功能的重要基础,换言之,大数据技术要想实现对各项数据的有效处理,切实提升数据应用准确性,必须要得到数据采集技术所提供的有力数据支持。一般来说,大数据技术的数据采集主要通过管理系统、科学实验、物理信息系统等系统进行实现,依托对该部分系统的整合应用,可实现对一系列数据的高效、全面采集,进而为大数据技术实际应用提供可靠的数据支撑。将数据采集技术应用于人工智能中,可支持人工智能设备对采集数据进行读取,并开展好初步化分析工作,实现统计分析功能,进一步提升数据应用精准性。②数据储存技术。数据采集结束后,可通过数据存储技术,以实现对庞大数据的统一存储。因为大数据技术应用对数据提出了十分严格的要求,所以应设置相应的存储空间以对海量数据进行存储,同时要确保数据的安全性、稳定性。目前,常用的数据存储技术主要可分为传统结构化数据存储、半结构化数据及非结构化数据存储、结构化和非结构化混合数据存储。对于人工智能设备而言,设备运行必须引入数据存储技术,实现可靠的数据存储功能。在人工智能终端上,相关人员通过数据调取操作,可实现对应用数据直接调取,以此不仅可提升人工智能运行效率,还可降低数据传输成本。③数据表示、检索与访问。如前文所述,大数据具有数据存储量大、多样性等特征。基于大数据技术支持,对于数据的获取要在数据库中通过关键词检索进行实践,而由于检索操作通常处在平行状态下,这使得检索结果可能会存在漏洞,难以满足数据检索需求。为此,通过引入HDFS系统,可实现随访访问数据检索功能,保障各项工作有序运行。④数据应用与深层挖掘。鉴于大数据的特征,还应对数据开展深层挖掘及分析。面对庞大数据,数据应用与深层挖掘可迅速挖掘数据,并在数据库中获取对应数据。在大型数据库中,通过这一技术可保证获取数据的准确性,依托深层挖掘分析功能,可有效降低数据应用风险,切实提升数据评定与选择的科学性[3]。

2 大数据主要应用的领域分析

当前,大数据处理技术已经在各行各业中得到广泛应用,而且很多国家已经将此技术和人工智能技术进行良好结合,进而充分发挥出了这两项技术的优势。从目前我国的大数据技术来看,其应用和发展都十分迅速,该技术在信息管理、企业管理、电子政务、金融、制造、科研、教育、能源等各个领域的发展与变革中都发挥出了显著优势。以下是大数据技术在我国几个典型领域的应用现状的分析。

2.1 在工业物联网领域的应用

所谓工业物联网,就是在工业生产过程中所涉及的产品、设备等各项数据的采集和管理。通常情况下,其数据管理采用远程管理形式,如设备的历史数据处理、运行状态监控等。而在工业生产设备长期运行监控过程中,获取的大量数据则是对工业生产企业进行产能分析、设备故障发生概率以及产品合格率检测等主要信息来源。因这些数据十分庞大,我们就将其称为工业大数据。在对工业大数据进行采集、预处理、挖掘、分析和储存的过程中,一方面需要通过专业化平台进行分析、储存与展现;另一方面则需要借助于大数据技术中的数据驱动技术进行各种设备故障的检测,以此实现工业生产设备的合理优化。

2.2 在用户画像中的应用

网络信息时代,人们会将大多数闲暇时间花在手机上,在这样的情况下,各种基于手机客户端的视频平台、音乐平台、咨询平台以及购物平台等相继出现。比如,在手机购物平台的应用中,人们进行商品选择就像是对“消费者数据填空题”进行的回答,借助大数据技术中的数据挖掘技术,平台能够总结出用户的购物类型,当用户下一次登录该购物平台时,平台终端会根据用户之前购买的商品进行类似商品推送。同样的,在其他平台的应用中,借助于数据挖掘技术,也可以挖掘并记录下用户的习惯,以此实现相关信息的推送。由此可见,大数据技术中的数据挖掘技术可通过用户对相应平台的应用习惯进行用户“画像”,以此实现对用户年龄、性格、爱好以及消费等级等各项信息的推断。另外,运用数据挖掘技术也可以对用户的人口属性、兴趣特征、资产情况、消费特征、常驻城市以及位置特征等进行科学推断,让用户画像更加具体[4]。

2.3 在医疗领域的应用

随着智能医疗的不断发展,其应用逐渐扩展至诊疗活动的各个环节,以此不仅提升了诊疗、管理的质量效率,还可促进了区域医疗资源的优化整合。以精准医疗为例,作为一项新型诊疗技术,精准医疗通过人类基因测序技术,依托大数据技术探究个体蛋白质组、基因组与相关疾病之间的联系,精确定位相关疾病的发病机制,进一步获得精准治疗靶点,评估重大缺陷性疾病。和传统治疗手段相比,精准医疗既精确又高效便捷,并可极大减少对患者的创伤,对已确诊和未确诊的治疗及防御均具备十分重要的临床价值。现阶段,精准医疗在肿瘤、遗传病、妇科等领域得到广泛推广。

2.4 在教育领域的应用

在科学技术发展与教育改革深化的过程中,大数据技术在教育领域发挥的作用日益显著。目前来看,大数据技术在我国教育领域的应用主要分为3个方面:第一是在适应性教学中的应用,第二是在教学规律发现中的应用,第三是在校园信息化管理中的应用。比如,运用基于大数据技术的Learnsprout系统,可对高考备考进行科学评价,及时发现学生学习过程中的问题所在,通过早期干预的方式来解决学生的学习问题,并根据实际情况提供辅助,这样可有效提升学生的学习效率与质量。大数据技术与应用实验室配置。由于我国的院校目前申请大数据技术与应用才刚刚经过三年,因此,在教学中教学基础设施的配置、软硬件设施的资源都不是很到位。有些各大学院在大数据实验室的建立上正处在筹备阶段,或是刚刚获得相关部门批准。尽管如此,大部分的高校还是缺少可以让学生实际参与的实践案例及大数据发展行业的数据,使得学生直接受到了理论知识的灌输,而没有办法进行实际的操作。如果理论和实际无法相结合,将会导致所培养的学生在毕业时无法找到合适的行业就业,也没有办法达到市场对大数据人才的需求。因此,这将对各大院校大数据技术运用专业人才培养适应社会需求产生了极大的挑战[5]。

2.5 大数据技术在智能建筑领域中的应用

随着社会经济的不断发展,各种先进科技不断被引入至城市化发展中,其中大数据技术便在智能建筑中得到应用,为智能建筑发展提供了可靠技术支持。首先,面对近年来城市中不断增多的高层建筑,如果采用以往的消防技术必然会带来一系列不利影响,由于楼层较高,加之发生火灾时无法使用电梯,这便很大程度上加大了消防工作的难度。而在如今的智能建筑中,这些问题均得到了有效解决,通过应用大数据技术可在高层建筑设计时在相应区域安装消防喷淋头,一旦发生火灾,可保证及时实现灭火效果。并且消防喷淋头还可实现摄像功能,通过对现场情况进行监控,为消防人员提供现场数据,进而实现对火灾的有效防范。其次,还可将大数据技术应用于智能建筑中的温度调节系统。相关技术人员可通过智能技术对建筑的温湿度进行调节,同时通过大数据技术可监测区域的人员情况,依托模型建立匹配,然后对数据信息开展分析,获取室内温度的最佳数值,对区域温度开展调节,以此为居住者创造良好的居住环境,显著提升人们的居住体验。

2.6 在生态系统中的应用

在生态系统中涉及的大数据主要包括植被、土壤、海洋以及大气等各种生态数据。这些数据不仅具有非常庞大的信息量,而且信息类型十分复杂,传统形式的数据分析和处理技术并不能有效满足实际的分析与处理需求,而通过大数据技术的合理应用,便可实现各项生态系统数据信息的分析与处理。比如,在气象观测中,将大数据技术应用到大气数据分析与可视化系统中,便可通过数据分析系统和数据处理算法的科学结合实现对气象数据的精准分析和处理。近年来,生态退化的表现越来越突出,相关的问题也在快速扩散,森林与土地的退化对生物多样性造成了不良的影响,而水资源的退化则直接影响到了人们的生活。生态系统是一个循环性的体系,而生态退化问题的发生也并不是一蹴而就的,而是在多种因素共同影响的作用下发生的复杂反应,是量变逐渐积累、最终形成质变的结果。在对这一问题进行完善的过程中,除了需要运用生态学、环境学的知识之外,还需要了解生物学、地质学等方面的内容。

3 大数据利弊分析

3.1 大数据的利

2019年的新冠肺炎疫情得到充分证明。这种全国性、全球性使城市公共卫生事件的舆情通过互联网延伸到全球任何一个角落,大数据发挥出了特别大的优点。首先,疫情防控期间每天各地方感染者数据公开,政府此番举动让人民及时了解到新冠疫情感染性极强,提高了人民对于新冠疫情的重视程度,从而让疫情得到了有效控制。从每天感染者数字的增加到最后治愈人数的增加,降低了人民的恐惧感。大数据技术带来了网络舆情引导的精准化。通过基于大数据技术的健康码、行程码等数据的精准分析,为城市携起手来共同应对公共卫生事件,为城市、国家和全球的安全与安宁作出历史性贡献。其次,疫情防控期间需要注册健康码,只有绿码才能正常通行,通过扫描防疫大数据码可查询到活动轨迹,去过高风险地区或者健康码呈现红色和橙色需要隔离,这也是疫情得到快速控制的主要因素之一。

3.2 大数据的弊

任何事情都具有两面性,有利必有弊,大数据的弊主要体现在误导网络舆情及数据的泄露。首先,在经济全球化的今天,重大突发公共卫生事件处理不好,就可能发展成为影响政治、经济、社会稳定和外交的重大问题。过去那种家丑不可外扬的观念,在今天的信息时代一定要改变。疫情是捂不住的,延误时机只能使自己被动,这个教训是深刻的。”实际上,在网络舆情引导中,网络舆情混乱很多都是源自政府信息不公开。少数城市政府知情而说谎,公众不知情而造谣,网民传播网络舆情就越混乱。再如在2019年12月发生的新冠病毒肺炎疫情中,同样发生了压制网络舆情现象,吹哨人李文亮等8位医生最先发布的信息被隐瞒,以致出现了“万家宴”等本可避免的悲剧,这给网络舆情引导及疫情防控埋下后患。当公共卫生事件没有控制住时,来自全球各地的多个不利网络舆情叠加时,公众必然极度恐慌。其次,数据泄露的例子比比皆是,人们经常会接收到各种推销电话和骚扰信息,这可能是人们无意中的泄露甚至也可能是不法分子进行的数据买卖。数据买卖往小了说侵犯个人的隐私,往大了说可能危害国家利益。对于国家来说,大数据不断积累,有可能发生从量变到质变。最终会对国家带来危害,随着数据的积累,可能现在用处不大的数据对将来的研究会产生重要的影响,也会出现隐患。因此,要确保无用数据的处理不留痕迹。

4 结语

综上所述,在今后的工作中,要加大监督力度严格把关数据应用的隐秘性,同时加大对数据保护高层次人才培养,对国家核心数据要进行严格保护,要区分好涉密数据,充分发挥大数据技术的应用优势,推进对大数据技术的科学合理应用,为现代社会发展进步贡献一份力。