基于可拓学理论的高维大数据相似性研究
2016-01-18袁瑞萍,师鸣若
基于可拓学理论的高维大数据相似性研究
袁瑞萍,师鸣若
(北京物资学院信息学院,北京101149)
摘要:高维大数据的相似性计算是数据挖掘领域的研究重点,论文通过分析高维大数据相似性计算的难点,提出采用可拓学的方法解决其中矛盾问题的研究思路。在基元表示高维大数据的基础上,借助数据转换、数据筛选、权重的确定、数据预处理等技术实现了数据之间的相似性计算,并基于水污染常规分析数据进行了算法验证。论文借助可拓的思想研究大数据相似性的问题,不仅对数据挖掘的研究有一定的理论促进,同时也为可拓学的研究提供了新的应用空间。
关键词:大数据;高维数据;可拓学;相似性
收稿日期:2015-06-04
基金项目:北京市教委科技计划面上项目(KM201510037001);智能物流系统北京市重点实验室(NO:BZ0211);北京市属高等学校创新团队建设提升计划项目(项目号:IDHT20130517)
作者简介:袁瑞萍(1982-),女,博士,讲师,山东荷泽人,研究方向:物流信息化,数据挖掘;师鸣若(1976-),女,河南郑州人,研究方向:商务智能。
中图分类号:TP311.1文章标识码:A
Research on the Similarity of High Dimensional Big Data Based on Extenics
YUAN Rui-ping, SHI Ming-ruo
(SchoolofInformation,Beijingwuziuniversity,Beijing101149,China)
Abstract:The similarity calculation of high dimensional big data is a research focus in the field of data mining. In this paper, after analyzing the difficulty of similarity calculation of high dimensional data, a method based on extenics is put forward to solve the contradictory problems. Firstly, the element is used to represent high dimensional data. Then the similarity between data is calculated by means of data conversion, data selection, weight determination and data pre-processing technology. Finally the conventional analysis data of water pollution is used to verify the method. The idea of using extenics to solve similarity problem of big data can not only promote theoretical research of data mining, but also provide a new application for extenics.
Key words:big data; high dimensional data; extenics; similarity determination
0引言
2008 年9月,《科学》杂志发表文章《Big Data: Science in the Petabyte Era》,“大数据”一词正式走入公众视线,并开始传播。其实,“大数据”一词早在上个世纪80年代由美国人提出来[1,2]。2011年6月,IDC研究报告《从混沌中提取价值》中三个基本论断构成了大数据的理论基础,人们对大数据的关注程度日益上升。据统计,Google“大数据”搜索量自2011年6月起呈直线上升趋势,大数据时代的到来毋庸置疑[3]。根据国际数据资讯(IDC)公司监测,全球数据量大约每两年翻一番,预计到 2020 年,全球将拥有 35ZB 的数据量,并且 85%以上的数据以非结构化或半结构化的形式存在。……
