章耀坤,于 洪,胡 峰

(重庆邮电大学 计算智能重庆市重点实验室,重庆 400065)

1 引 言

数据预处理是指在进行数据分析之前对原始数据进行的一系列处理,使得原始数据结构与数据分析算法相互适配,从而获得更加准确的分析结果.例如,工业中的大数据普遍存在数据维度高、数据类型复杂等问题,进而导致现有的经典数据挖掘算法对此类数据无法进行有效分析[1].因此,数据预处理对于数据分析结果很重要.针对数据高维度问题,目前已取得一定的研究成果[2,3].另一方面数据类型复杂问题仍需进一步研究.

离散化是数据预处理中针对数值属性数据的预处理方法.大数据中利用属性或特征用于描述应用程序中数据元素的字符.常见的属性有数值属性和标称属性.由于数值属性值是一组连续的数值,例如温度、长度,经典数据挖掘算法无法直接处理数值属性数据.因此,我们需要在数值计算的背景下将连续的数值数据简化为离散的标称数据.

对于数据离散化的研究,研究者们在这方面取得了一系列的研究成果.例如,Wong和Chiu[4]于1987年提出了经典的等宽离散和等频离散.1991年Chiu等[5]提出了基于最大熵的离散方案.该算法将信息熵引入离散算法中,用于自动确定的离散过程中的区间数.Rahman和Asadi[6]提出了一种新的离散方法,其中通过低频区间合并策略,在保障离散效果不变的情况下,减少区间数量.Hacibeyoglu和Ibrahim[7]在2018年提出了一种无监督的离散模型EF_Unique,通过区间……