李秀芹 毛振平

摘要：传统FP-growth算法在处理规模大、海量的医疗大数据时，构造基于内存的FP-tree可能导致失败；重复迭代多次遍历全局FP-tree造成极大浪费；并行处理时各节点之间需要的巨大通信开销等问题。针对传统FP-growth算法存在的这些问题展开研究，提出一种采用数据库分解思想，基于Hadoop平台并行在局部FP-tree中查找局部频繁项集且不生成全局FP-tree的挖掘算法。

关键词：医疗大数据；FP-growth算法；Hadoop；数据库分解

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2019）06-0280-02

医疗卫生行业属于一种服务性行业，是关系国计民生、与人们生活密切相关的特殊产业。伴随着信息技术在医疗行业地引入，使得医疗行业的信息化、自动化程度不断提高。医疗行业的核心都是医疗数据，医疗大数据来源广泛，主要来自人口数据库、健康档案数据库、电子病历数据库等。并且数据格式多样化，文字、图案、声视频等。如何运用这些海量多样化医疗信息来更好地为医疗行业服务，已被更多的研究人员和机构所关注。

韩家炜等人在2000年提出的FP-growth（ Frequent-Pattern Growth）关联分析算法[1]，采取分治策略不需要产生候选集，相对于经典的Apriori算法已经有了一个数量级的改善，但是仍有一些不足[2]。2008年Haoyuan Li等人提出了Parallel FP-Growth（简称PFP）算法[3]，解决了前文提到的内存瓶颈、计算瓶颈等问题，但节点间需要巨大的通讯开销。2016年娄书青等人的TFP算法[4]，用于数据水平投影过程中，利用贪心策略对F-list中的项进行分组。2018年魏莲莲等人在期刊中提出改进的垂直FP-growth算法，求取局部频繁项集、合并全局频繁树[5]。……