大数据时代下数据挖掘技术的应用分析

2019-09-10卢文亮

新生代·下半月 2019年3期

【摘要】：大数据时代是信息社会高度发达的的阶段，随着云技术、互联网等高科技技术的快速发展，为人们进入大数据时代奠定了坚实的基础。人们已經可以实现对海量的数据信息进行存储以及分析，并将所获取的信息应用到实际生产当中，而在此过程中最重要的就是数据挖掘技术。科学合理的利用数据挖掘技术可以通过对数据信息的挖掘，从中找到有利用价值的信息资源，从而为各个领域的发展提供相应的参考。本文首先将对数据挖掘技术进行简单阐述；其次主要分析当前数据挖掘技术的主要方法，并具体阐述数据挖掘技术在各个领域的应用；最后简单谈谈数据的安全和保密。

【关键词】：大数据时代数据挖掘技术概述方法应用数据安全

在各个领域的发展过程中，信息资源是最为重要的生产管理因素之一，可以为各领域的发展提供有效的参考和依据。云技术以及互联网技术的发展为信息资源的存储和分析提供了坚实有力的技术基础，因此，各行业想要获得更大的发展，就需要注重对隐藏的数据进行深入挖掘，将其进行有效整合，从中获取有效的信息。在此过程中，数据挖掘技术就显的尤为重要，科学合理的运用数据挖掘技术可以实现对数据信息的最大化利用，利用对数据信息挖掘分析的结果来指导行业的发展。与此同时，也要注重数据信息的安全和保密，完善各项数据保密技术，有效保护各项数据信息。

1.数据挖掘技术概述

数据挖掘技术顾名思义就是对数据信息的深入挖掘，寻找其中有价值的数据信息，具体来讲就是利用统计学、云技术、大数据技术以及人工智能技术等高科技技术，在庞大的数据库中发掘其中隐藏的数据信息，以此来为相关决策提供支持【1】。之所以被称之为数据挖掘技术，主要是这项技术所要寻找的信息是之前尚未明确的，但是其具有潜在的价值，因此需要在庞大的数据库中进行挖掘。这项技术需要以多项高科技技术为基础，从庞大的数据信息中识别具有价值的信息，从而为决策人员进行决策提供一定的参考和指导，以规避风险，做出合理的判断。

数据挖掘的基础是需要庞大的数据信息，且数据信息的来源必须真实有效，这样才能在其中发掘出一些之前尚未明确的，且具有相应的利用价值的信息。被挖掘的数据库中的数据可以是多种多样的，包括未识别的数据、随机的数据、缺损数据、不完整数据等，但是数据量必须要大，只有以庞大的数据为基础，才有可能从其中挖掘出有价值的信息。

数据挖掘技术并不是一项简单的技术，而是多种技术的有机结合，数据挖掘技术可以在挖掘数据的过程中实现对数据的归纳和整理，使这些数据信息得到最大化的利用。数据挖掘技术可以从对数据的简单分析到复杂演绎，从表面深入到隐藏的部分，通过一个极其复杂的过程从原始数据中寻找出具有利用价值的信息。同时其挖掘数据的过程中，其所归纳和整理的数据也可以对其加以利用，譬如信息检索、查询等。

2.数据挖掘技术的主要方法

2.1聚类

聚类的分析方法主要是针对一组数据信息，将其按照数据信息的类别以及其相似度将其分为不同的层级，制定出科学的、覆盖范围广的、详尽的判断模型，使这部分数据信息中，同类别数据具备较高的相似性，不同类别数据具备较低的相似性，以此为决策人员的决策提供参考。这种方法一般在市场营销中使用的比较多，譬如对客户的分类、寻找潜在客户、预测销售状况、分析商品的周期等【2】。

2.2关联

关联主要指的是原始数据中各部分数据信息之间所存在的联系或者关系，具体来说就是原始数据中的这部分数据信息很可能与另一部分数据信息之间存在一些隐藏的联系，通过对两部分数据信息的分析可以发现其中隐藏的关联性。例如，当你在维护和客户的关系的时候，就可以在该企业的客户数据源中挖掘有效信息，在大量的关系交流的记录中挖掘有效信息，挖掘有价值的线索，挖掘出不明显的影响市场的关键节点，这对商品价格预判、销售走势、客户类群分辨、销售整体方向的规划等具有重要的参考价值。

2.3回归分析

回归分析主要是利用原始数据时间上的分布特征，构建一个可以把数据信息回归到预测变量中的函数关系，然后利用相应的数学理论，分析变量与变量之间的关系。关于回归分析的要点主要有以下几项，一是数据信息之间关系的分析，二是预判走向的分析，三是数据变量的趋势分析。

2.4分类

分类的方法主要就是在原始数据中选择一组具有相同特点的数据，依照事先确定的标准对其进行相应的分类，将原始数据中的部分数据信息归入到某种既定的类别中。把数据源中的数据对象联结到某种特殊的类别当中【3】。例如可以把某一组数据对象联结到顾客的分类中，然后对顾客的属性进行分析，对顾客的特点进行分析，做满意度调查、然后评判顾客的购买意向以及购买力.以某一个汽车厂商为例，如果这个汽车厂商把数据源中的顾客依据对汽车的爱好分门别类，这样一线的销售人员便可以把握主动，直接向这类顾客销售相应的产品，投其所好，大大提高了效率。

2.5变化和偏差分析

原始数据中存在诸多存在偏差的数据信息，这其中隐藏着一些有利用价值的信息，譬如模式中的反常现象，数据分类当中的反常现象，现实和期望之间的偏差等，对于这些存在偏差的数据信息进行分析，主要是研究现实中的结果和参照物之间的差别。在一些大型企业中，管理人员应该对危机预警系统中的反常现象和信息重点关注，对其进行深入挖掘分析，可以有效帮助管理人员挖掘出潜在的危机，从而提前做出应对，规避风险，降低危机造成的损失。

2.6特征

数据源也可以根据特征进行数据分类，从中提取关于这些特征的特征式，这类公式可以提现该数据源的整体特点【4】。例如在一线的销售人员在预防顾客流失的时候就可以先将顾客按照特征进行分类，然后再从中提取出顾客流失特征的特征式，就可以很快分找出造成顾客流失的很多原因以及特征了，然后再从特征中找出主要特征和次要特征，通过对这些顾客流失的特征分析就可以提前预防顾客流失的情况了。

2.7Web网页

随着互联网技术的飞速发展，网络已经实现了大范围的普及，人们在生活和工作大量的利用网络进行交互，这就使得网络中留存了大量的信息。互联网中的数据包罗万象，包括金融信息、企业信息、人力资源信息以及潜在的用户群体信息等等，通过对互联网数据的挖掘可以找出诸多有利用价值的信息。对于这部分数据挖掘的重点在于预期可能会对企业的发展造成的影响因素，包括内因和外因，或者说是潜在的内因和外因，通过对这些影响因素进行分析，从而指导企业的发展方向，促使管理人员进行科学的决策。

3.数据挖掘技术的应用

3.1教育领域

在教育领域运用数据挖掘及时，可以让老师对学生产生更深入的认识和了解，通过对学生的基础信息、兴趣爱好、各学科的学习状况等数据信息的挖掘分析，可以从中了解到学生优势、不足以及在学习中存在的薄弱环节，便于老师进行针对性的指导和帮助，从而有效提升教学质量和教学效率。此外，数据挖掘技术的运用可以使各项教育资源配置进一步优化，从而更好的开展教学。

3.2科研领域

数据挖掘技术在科研领域也有广泛的应用，科研领域所取得的各项科研成果往往依赖于各种实验以及对于实验数据的整理、归纳和分析，找出实验数据所表明的关系或者规律，并对其加以概括和引申。由于一项科研成果的出现往往需要大量的实验，因此就会产生大量的实验数据，如果采用人工对其进行整理、归纳和分析，其难度相对较大，工作量也极大，而利用数据挖掘技术可以很轻易的完成，只要构建相应的数据模型，然后依次对实验数据进行深入分析，可以更高效的找出其中所隐含的信息，从而对科研方向提高相应的参考。

3.3电信领域

电信行业在人们的生活和工作中发挥着重要作用，可以让人们便捷的实现交流和沟通，时间和空间上的限制极小。由于电信行业的用户群体极为庞大，各个用户群体之间往往所需要的服务也不尽相同，所以就需要有针对性的为用户提供相应的服务【5】。这就需要通过挖掘用户信息，分析用户的偏好以及所需要的服务类型，从而为用户提供更优质的服务。数据挖掘技术的运用可以使电信企业在对庞大的用户信息的分析中，明确各个用户群体的偏好，有根据的预判其所需要的服务，并有针对性的为用户提供其可能需要的服务，从而提升电信企业的服务水平。在电信领域用户的需求就是潜在的、具有利用价值的信息，企业需要对用户日常的使用习惯进行分析，挖掘用户潜在的需求，并最大程度的满足用户的需求，这样才能使电信企业获得更大的发展。

3.4市场营销领域

数据挖掘技术最初就是在市场营销当中所使用的，主要是该领域需要记录庞大的客户信息，并通过对客户信息的挖掘和分析，找出客户的潜在需求，并为其提供相应的产品。同时，还需要为客户推荐其可能感兴趣或者需要的产品，从而达到提升销售业绩的效果【6】。数据挖掘技术在市场营销领域的使用，一定程度上降低了市场营销的难度，同时也最大限度的使客户的需求得到了满足，形成了一种双赢的局面。无论是对于销售人员还是对于客户，双方都达成了各自的目的，各自的需求都得到了极大的满足。

3.5制造业领域

近年来，随着人们物质生活水平的不断提升，人们对于市场上提供的各项产品的要求也逐渐变高。对于制造业领域而言，如何根据用户的喜好拉优化自身的产品是一个极为重要的问题。数据挖掘技术在制造业领域的应用，可以用客户的需求信息中发掘客户所需要的产品，或者客户对于产品某一方面的喜好。同时，将这些信息运用到产品的升级和研发当中，从而使产品更加符合客户的需求和喜好，是产品在市场上具备一定的竞争力，从而为企业创造更大的效益。

4.数据安全

当前，在大数据的背景下，各个领域对于数据信息的重视和利用都达到了一个前所未有的高度，对于数据信息的发掘和利用一方面促进了各个领域更好的发展，另一方面也最大程度的满足了人们的需求，产生了极高的经济效益和社会效益。但是我们在享受大数据给我们带来便利的同时，也要认识到其中所存在的安全隐患，比如数据安全【7】。数据的泄露会对人们的生活和工作带来极大的影响，尤其是关于个人隐私信息的泄露，不仅侵犯了人们的隐私权，同时对于人们也造成了一些潜在的威胁。

此外，部分别有用心之人可能通过对数据的分析，得出某些信息，从而进行一些危害社会的活动。譬如，通过对人口健康数据、基因测序数据的挖掘，可以预判国民身体健康走向；通过对移动消费的数据挖掘，可以得出国民消费的金融数据；通过对社会文化的分析可以得出国民的文娱喜好和思想文化偏好，这些分析结果很可能会被不法分子利用，从事某些破坏活动，进而影响到国家和人们的安全。

部分人员受利益的驱使，从事倒卖信息的活动，目前，甚至已经形成了一个庞大的利益链条，其中尤其是个人隐私信息的倒卖，使得人们已无隐私可言，对人们的生活是极大的威胁。而目前，我国在这方面的法律机制尚不完善，加之网络追责的难度较大，使得这种情况很难得到有效治理【8】。

因此，我们要以辩证的眼光看待大数据，不仅要积极的利用其优势，从而促进社会各个行业的发展。与此同时，我们也要认识到其中所存在的隐患，并逐步完善相应的保护机制，确保对于数据信息的利用在合理合法的范围之内，从而促进其良性发展。

结语

综上所述，数据挖掘技术在各个领域的发展都发挥了极大的作用，不仅促进了各个领域的发展，同时也满足了人们的需求。但是目前我国对于数据挖掘技术的运用还有极大的提升空间，因此，仍要进一步探究数据挖掘技术的价值，使其发挥更大的作用

【参考文献】

【1】邵燕，陈守森，贾春朴，等. 探究大数据时代的数据挖掘技术及应用[J]. 信息与电脑（理论版）， 2016（10）：118-119.

【2】田志民，梁品超，任艳红，等. 大数据时代下数据挖掘技术与应用[J]. 当代教育实践与教学研究， 2017（10）：10.

【3】周凌. 浅析大数据时代的数据挖掘技术与应用[J]. 中小企业管理与科技（下旬刊）， 2018，（5）：194-195.

【4】刘毅娟，雷鳴，何旸，等. 大数据时代数据挖掘技术浅析[J]. 数字技术与应用， 2015（4）：222-222.

【5】唐雅璇，李丽娟，吴芬琳. 大数据时代的数据挖掘技术与应用[J]. 电子技术与软件工程， 2017（21）：169.

【6】李翼，孟莉. 大数据条件下的数据挖掘技术及应用[J]. 电子技术与软件工程， 2017（18）：198-198.

【7】许凡，孙勤红. 大数据时代的数据挖掘技术探讨[J]. 电子技术与软件工程， 2015（16）：208-208.