胡淑新 宋志蕙

摘 要：针对数据的多维度、非线性、不稳定性等特有的复杂属性，在传统数据分类方法的基础上，本研究将高维大数据进行降维处理，结合SVM分类方法和多元SVM-REF分类方法，提出一种基于数据降维的复杂属性大数据分类方法。试验证明，与传统数据分类方法相比，本设计方法能够有效地提升复杂属性大数据的分类效率，也为后续对高维数据分类和数据复杂波动规律分析的深入研究提供依据。

关键词：数据降维;复杂属性;大数据;分类

中图分类号：TP391文献标识码：A文章编号：1003-5168（2020）02-0018-03

Abstract： Aiming at the unique complex attributes of data such as multi-dimensionality， non-linearity， and instability， based on the traditional data classification method， this research reduced the dimension of high-dimensional big dat， combined SVM classification method and multivariate SVM-REF classification method， and proposed a method for complex attribute big data classification based on data dimensionality reduction. Experiments show that compared with traditional data classification methods， this design method can effectively improve the classification efficiency of big data with complex attributes， and also provide a basis for subsequent in-depth research on high-dimensional data classification and analysis of data complex fluctuation rules.

Keywords：data reduction;complex attributes;big data;classification

近年来，信息技术和互联网不断发展，大数据分析技术逐渐成熟，而复杂属性的大数据分类充满机遇和挑战[1]。当前，科学研究水平不断进步，信息技术与互联网技术也在不同的领域中逐渐成熟，新兴技术的发展在带动行业本身进步的同时也扩大了软件和硬件技术的市场需求。因此，新的市场和模式不断要求数据挖掘迈向更高的水平。从数据的体量、类型及维度等方面来分析，研究的对象也变得越来越复杂[2]。随着互联网的不断普及，企业要从设计、制定、运营等不同环节为用户提供全方位的解决办法，而这些环节都或多或少地涉及数据的采集、整理与分析，企业为了保证自身优势，需要从多个角度兼顾信息处理的时效性、准确性及经济性。因此，人们对复杂属性的大数据分类研究提出了更加严格的要求。

1 高维大数据的降维处理

传统的特征抽取技术包括主成分分析和线性鉴别分析。……