APP下载

面向大数据的数据处理与分析算法综述

2021-11-10曹英楠王永超

南京航空航天大学学报 2021年5期
关键词:规则分类模型

周 宇,曹英楠,王永超

(南京航空航天大学计算机科学与技术学院/人工智能学院,南京 211106)

随着多核CPU 性能、存储设备性价比的迅速提升、网络带宽的不断增加,以及移动互联网、物联网、云计算等新一代信息技术的迅速发展和快速普及,人类生产生活已和信息技术相互交融,全球数据量出现爆发式增长。海量集聚的数据中蕴含着前所未有的社会价值和商业价值,政府和企业可通过分析处理大规模的用户数据得到传统数据分析方式无法获知的隐藏价值和模式,从而为公众和客户提供更加迅速、准确的公共服务及产品,大数据研究领域也因此吸引了社会各界的广泛关注。

大数据[1]指的是利用传统的数据处理分析技术或软硬件工具无法在可容忍的时间范围内对数据进行采集、处理和分析的数据集。其相较于传统的数据集,拥有4V 特点[1]:规模性(Volume)、多样性(Variety)、价值(Value)和实效性(Velocity)。根据挖掘任务的不同,数据挖掘处理方法可分为分类分析、聚类分析、关联规则挖掘和序列分析等多种不同的方法。Blackett 将各处理方法进一步地按数据分析的程度划分为3 类[2]:使用历史数据进行总结的描述性分析、利用相关技术预测未来概率或趋势的预测性分析、发现隐藏数据相关性以帮助用户制定决策的规则性分析。聚类分析被用于描述数据,其通过衡量数据之间的相似性对数据进行分类;分类分析根据训练数据获得分类规则,故而常被用于预测分析;关联规则挖掘目的在于从数据库中发现并提取有价值的隐藏模式,且其思路同样适用于序列模式发现。……

登录APP查看全文

猜你喜欢

规则分类模型
一半模型
撑竿跳规则的制定
数独的规则和演变
分类算一算
重尾非线性自回归模型自加权M-估计的渐近分布
让规则不规则
教你一招:数的分类
TPP反腐败规则对我国的启示
3D打印中的模型分割与打包