◎王晨皓

从数学的角度初步看离群点检测算法

◎王晨皓

目前，大数据技术在全世界范围内迅猛发展，在金融、电信、交通、医疗等领域得到了广泛应用，全球包含个人电脑、平板电脑、智能手机、可穿戴终端及物联网终端等联网设备将超过500亿台，全年产生的数据总量是一个天文数字，如此数量、多样化的数据，对各行各业来说存在着巨大的潜在价值，然而由于大数据的4V特性（大体量、多样性、时效性和精确性）决定了大数据的处理和利用难度高，传统的数据分析技术无法满足应用需求，数据挖掘技术应运而生。

数据挖掘是从大量数据中提取出人们所关心的有价值的数据信息，是一门涵盖了统计学、机器学习、人工智能、图像处理、数据库等多门学科的交叉学科，其中数学理论是数据分析与研究的技术。离群点检测正是数据挖掘的重要任务之一，在完成离群点数据检测与分析的过程中，应用了大量的数学模型与数学方法，是数学方法针对数据时代新应用的特殊需求的一次新发展。

离群点检测

离群点数据是与大多数数据在某些特征空间上有所差异的数据，其产生途径大致有两种：一是人为误差或测量设备故障而产生导致的异常数据，会导致数据分析结果的错漏；二是由另外一种完全不同的机制产生的数据。第一类数据在数据分析中是没有意义的，它的存在反而会对数据分析的结果产生不良的影响，通过离群点检测技术剔除此类离群数据是进行数据挖掘的前提。……