邵天会

摘 要 随着医疗大数据剧增，医疗数据体现的价值更加明显，而传统的数据分析方案已经无法满足日益增长的数据要求，数据挖掘技术的更新更加体现出重要性，针对医疗数据挖掘算法的改进优化成为瓶颈，Apriori算法进行医疗数据的应用中发现众多优点，特别是基于兴趣度的改进算法，让医疗数据挖掘体现出更多的价值，并对改进的算法进行MapReduce化进行模型实验，获得更多的医疗价值。

【关键词】云平台 MapReduce Apriori算法

1 MapReduce工作原理

MapReduce是通过JAVA开发并简化了编程模型，让缺乏相关经验的程序员不需要了解底层，高效的开发分布式程序。MapReduce对大数据并行处理有突出的优点，尤其针对超过1TB数据更加明显，主要包括Map （映射）和Reduce （规约）两个步骤，中心思想是“任务分解，结果合并”。

2 常见的MapReduce化的Apriori算法

2.1 DD算法（Data Distribution）

CD算法的优点是不必要将候选集分布到每个节点，只要分割原始的事务集，从而扫描事务集的次数得到极大的降低。CD算法的缺点是随着节点数量的增加，内存的浪费也会同比增加。DD算法与CD算法不当节点数量不断增加，消耗的内存不断增长，在进行数据处理的过程中，处于事务集和候选集的交互节点，明显增加了交互次数，导致开销增大。

2.2 CaD 算法（Candidate Distribution）

DD算法的缺点产生原因在于频繁项集发生于每次的计算，如果某个节点出现停滞，其他节点需要等待，这样无形中消耗了时间。CaD算法解决了这个问题，在进行第一次计算时，每个节点通过频繁项集独立产生候选集Cm。同时，事务集也被有选择地分配给各个节点以独立计算的计数。……