Spark集群下基于关联规则的产品加工质量分析
2021-05-25李卓航荀亚玲薛晓鹏李元庆
太原科技大学学报 2021年3期
李卓航,荀亚玲,薛晓鹏,李元庆
(太原科技大学 计算机科学与技术学院,太原 030024)
制造业作为国民经济的支柱产业、作为一个国家综合国力的象征,依靠传统低成本战略的发展方式已经走到了可持续发展的尽头。全球市场竞争不断加剧,高质量的产品成为保证企业立于不败之地的关键,因此,企业必须实施全面质量管理[1-2],而企业在生产运营过程中积累的大量数据为企业进行有效的质量管理提供了新的机遇。尤其是近年来物联网技术和移动技术的发展,使制造业产品整个价值链都“生产”了海量数据,数据急剧膨胀,制造业面临着工业大数据时代带来的新挑战[3-5]。且制造业数据具有多源、大体量、异构、不确定和高噪声等特征,如此庞大和复杂数据背后隐藏的价值是不可估量的,对这些数据的有效挖掘将成为实现我国制造业在工业大数据环境下向智能制造转型的必要手段。
数据关联是数据集中存在的一类重要的知识,关联规则挖掘作为数据挖掘的关键技术之一是发现该类知识的有效手段[6]。关联规则的挖掘可以在不知道或数据间的关联函数或模型无法确定时,发现数据中不同属性取值之间存在的某种关联性和规律性,从而发掘隐藏在其背后的、对用户有用的关联知识。
Spark是继Hadoop之后的又一高效的并行计算框架[7],其是基于内存计算的,这正是Spark相比Hadoop更获取更大性能优势的原因所在。Spark尽量将数据及中间结果保存在内存中,而不需要读写底层的HDFS,因此,Spark能更好地适用于具有复杂迭代的算法。……
登录APP查看全文
