APP下载

试析大数据时代的数据挖掘技术及应用

2018-01-15罗勇王东山

科学与财富 2018年34期
关键词:数据挖掘技术大数据时代应用

罗勇 王东山

摘要:在大数据时代的背景下,人工智能、云计算、互联网技术等飞速发展,并且得到广泛应用。因此,人们需要处理的数据量也逐渐增加,甚至成为了一个天文数字,如何有效的处理这些数据,从这些数据中获取有价值的信息已经成为企业、科研领域、经济市场十分关注的话题。在数据处理中,数据挖掘技术是关键影响因素,因此,相关技术人员不断探索和研究数据挖掘技术,为国家和社会创造更多的价值。

关键词:大数据时代;数据挖掘技术;应用

随着社会信息化的发展,互联网、计算机技术得到有效普及,网络购物更加平民化,很多实体经济将自己的资源“搬运”到网络上,个人信息、消费信息、通讯信息逐渐增加,并且成为了有迹可循的数据资源。我们在享受网络资源、信息技术的同时,经常会出现一些问题,例如信息处理的速度远远落后于数据增长的速度,信息提取技术不完善,不能够保证信息的真实性,个人隐私的保密制度技术有待提高等等。

1.数据挖掘的概述

数据挖掘是当今社会和数据处理行业重点研究的课题,它的本质内容在数据库中发现隐藏的知识内容,这项数据挖掘技术所要寻找的知识具有不确定性,并且存在着潜在的价值,隐藏较多的内容[1]。决策支持的过程便是数据挖掘的过程,统计学和大数据技术是数据挖掘重要的基础,相关技术人员使用非常规化的程序来自动分析各行各业的数据,最终总结出一定的关系,从而发现其隐藏的潜力或者模式,协助相关管理人员引领市场的发展,降低风险,提高经济效益,做出正确的决策。

从技术方面来说,在大量的数据中,数据挖掘需要提取出有效的信息和隐藏的知识,并且要保证这些信息和知识是之前隐藏的和不知道的,具有一定的潜在价值。这些数据的来源一定要保持真实可靠,其中也包含一些问题数据,例如,有缺损的数据、不完整的数据、不能够完全识别的数据、随机应用的数据等等。需要处理和挖掘的数据量较大,最后提取出的数据一定要使目标用户感兴趣,并且在实际操作过程中具有可行性。

在数据挖掘过程中使用的原始数据来源于各行各业的数据库,例如一些文本资料、视频资料等各种半结构化数据和在网上散布的比较零散的并且没有任何关联的数据。数据挖掘将提取出的知识和信息进行归纳总结,建立数据模型,应用在快速查询、信息搜索等过程中,保持本身数据的稳定性。所以,我们可以说,数据挖掘是一种混合技术,它能够充分利用数据,展现出从简单的表层知识到深入的隐藏知识的过程,是当今社会做出决策和引导的关键步骤。

2.数据挖掘的基本过程

数据挖掘技术是一个综合分析系统,它将数据集成与数据挖掘相结合,遵循一个固定的工作流程,完成信息资源的整合和挖掘工作[2]。数据挖掘工作分为三个部分,第一部分是数据的准备,进行数据挖掘时,相关工作人员必须明确需要挖掘的“目标数据”,制定数据挖掘的目的,而不是盲目的进行分析工作。第二部分是数据挖掘,在这一过程中需要进一步挖掘和处理信息,使数据能够高效、正确的进入到相关的管理机制中,根据相关的要求,具有针对性的选择适当的、科学的、合理的计算方法和分析方法,尋找和归纳数据信息的特征以及其应用价值。第三部分是强化管理,加强计算机等专业知识的应用。使用数据挖掘技术后会总结和提取出有价值的信息,得出最终结果并应用到现实的生活和工作中。从而正确、科学的判断某个思想和决策的准确率,展现出数据挖掘技术的应用价值。

3.数据挖掘技术的应用

3.1在市场营销领域中的应用

数据挖掘技术最早应用的领域便是市场营销领域,它通过使用数据挖掘技术分析和掌握了不同消费者不同的消费习惯和消费特点,从而进一步了解顾客在购买商品时的心理想法,制定相应的营销方案,激起顾客购买商品的欲望,最终达到增加营业额,提升销售业绩的目标[3]。现阶段,数据挖掘技术在市场营销领域的应用已经不能仅仅涉及到超市购物方面,还逐步应用到保险、医疗、电子商务等行业,并且为各个行业提供了有价值的潜在客户群体,使各个行业的企业充分利用相关的数据和资源,实现自身的飞跃和发展。

3.2在科学研究领域的应用

在科学家研究科技成果,探究真理的过程中,需要分析各种各样的数据信息,然后从这些数据中提取出可以进行下一步研究,做出有效参考的信息,实现科学研究的最终目的,有助于科学研究结果的形成。我们也可以认为,数据挖掘技术是科学研究领域中一项必不可少的辅助工具[4]。所以,科技人员使用数据挖掘技术可以在一定的时间内找到各种数据之间的联系和相应的规律,最终得出一系列有效的信息和想要的结论。例如,技术人员可以使用数据挖掘技术详细的分析和研究DNA,从而提升亲子鉴定的准确率,提升数据查询的速度。因此,在科学研究领域中,数据挖掘技术的应用是十分重要的。

3.3在制造领域中的应用

随着社会经济的发展,人们的生活质量和生活水平逐步提高,用户对于工业产品的需求和要求随之增加[5]。制造商可以收集相关的数据,对各个产品的相关数据进行具体的分析,了解用户对于每个产品的要求,从而进一步提升工业产品的质量,提升工厂的生产效率,降低产品的生产成本,满足用户对于产品的需求,增强满意度。例如,制造商可以收集产品出现缺陷的数据,并且分析出造成产品缺陷的原因,然后使用数据挖掘技术进行详细的分析,制定相应的解决方案,从而提升产品的质量和使用效率。

3.4在教育领域的应用

现今,随着人们思想的不断改变,以及教育体制的改革,学校和家长不仅仅关心学生的学习成绩,更加注重学生心理健康的教育,其中,数据挖掘技术在现代的教育领域中发挥着不可忽视的作用。学校通过使用数据挖掘技术,分析相关的数据,提取出有效的信息,准确的掌握和分析出学校学生的心理特征,学校教师可以针对不同心理健康的学生制定出不同的教学方案,讲解相关知识,安排相关内容[6]。学校也可以利用数据挖掘技术进一步分析学校学生的学习成绩,教师可以准确的找出学生学习方面的薄弱点,并且针对薄弱点进行详细的讲解和具体的指导,提高教学质量和教学效率,提升学生的学习成绩,有助于学生形成一个良好的心理。

结语:

在教育领域、制造领域、科学研究领域和市场营销领域中数据挖掘技术发挥着重要的作用。随着数据挖掘技术的不断改革和完善,这项技术将会被应用到更多的领域中。

参考文献:

[1]张凯萍.大数据时代背景下数据挖掘技术的应用探讨[J].赤峰学院学报(自然科学版),2018,34(08):52-54.

[2]文世敏.浅析大数据时代下数据挖掘技术的应用[J].企业科技与发展,2018(06):109-110.

[3]周凌.浅析大数据时代的数据挖掘技术与应用[J].中小企业管理与科技(下旬刊),2018(05):189-190.

[4]刘铭,吕丹,安永灿.大数据时代下数据挖掘技术的应用[J].科技导报,2018,36(09):73-83.

[5]孙福利.大数据时代的数据挖掘技术与应用[J].电子技术与软件工程,2018(01):170.

[6]唐雅璇,李丽娟,吴芬琳.大数据时代的数据挖掘技术与应用[J].电子技术与软件工程,2017(21):159.

作者简介:罗勇(1967.11-)江西南昌,男,汉,高级工程师,学士,信息技术

二作:王东山(1966.8-) 江西南昌,男,汉,高级讲师,学士,信息技术,国网江西省电力有限公司培训中心

猜你喜欢

数据挖掘技术大数据时代应用
基于Web的数据挖掘技术与相关研究
大数据时代下图书馆的服务创新与发展
大数据时代高校学生知识管理
从“数据新闻”看当前互联网新闻信息传播生态
GM(1,1)白化微分优化方程预测模型建模过程应用分析
煤矿井下坑道钻机人机工程学应用分析
气体分离提纯应用变压吸附技术的分析
会计与统计的比较研究