基于改进Apriori算法的气象数据质量控制研究
2021-06-30韩格格黄艳红姜娜娜徐晓庆
电子测试 2021年5期
韩格格,黄艳红,姜娜娜,徐晓庆
(宁夏气象信息中心,宁夏银川,750002)
0 引言
Apriori是数据挖掘经典算法之一,但是也具有一定局限性。Apriori算法每次生成频繁集都要重复扫描一次数据库,因此时间成本较大。王伟等[1]提出一种B_Apriori算法,该算法只需对数据库进行一次扫描,然后通过逻辑运算的方式,计算出每一项的次数,最终得到频繁项集。李亮等[2]针对经典Apriori算法的性能存在的问题,提出T-Apriori算法,该算法也只需要扫描一次数据库,将数据转化为布尔值矩阵,通过计算找出频繁项集。这些改进后的算法与Apriori算法相比,虽然达到一定缩减时间的目的,但只是减少了数据库扫描的次数,并没有缩小数据库的规模。本文提出一种基于布尔矩阵的压缩矩阵频繁项集挖掘算法,将矩阵进行多次压缩,对压缩后矩阵的行向量进行逻辑运算,计算出每一项出现的次数,最终得到频繁项集,可以同时达到缩减扫描数据库次数和缩小数据库规模的目的。
1 基于关联规则算法的气象观测数据质量控制模型
基于关联规则的气象观测数据质量控制算法包括以下三个步骤,即数据离散化处理、产生关联规则、进行规则匹配[3]。
2 数据离散化处理
关联规则的挖掘需要离散型数据, 台站得到的气象观测数据都是连续的,因此首先要对得到的基础数据做离散化处理。将基础数据中的各个气象要素按照现行标准,进行等级划分。以温度为例,将数据按照以下等级划分:大寒(-10 ~-14.9℃)、小寒 (-5 ~-9.9℃ )、轻寒……
登录APP查看全文
