詹鹏伟　谢小姣

摘 要：高维数据将会给数据分析带来极大的困难，因其所导致的数据分布稀疏化和数据组织效果的下降将会大大影响模型的性能。降维就是用于解决“维度灾难”的方法之一。文章从PCA、LLE、Isomap三种常见的降维方法入手，首先介绍了它们的实现原理，进一步结合KNN、SVM、RandomForest、Naive Bayes以及Logistics Regression模型构建了用于评价三种降维方法的综合交叉模型。结果表明，在文章所使用的数据集中，经过PCA方法与Isomap方法降维后的数据在可视的2维空间上分布较为均匀，而LLE方法分布则较为集中。且使用了PCA与Isomap方法的分类模型训练后的平均准确率高达96.44%与96.90%，高于LLE方法处理后所得的90.74%，PCA与Isomap具有较优的降维效果。本研究中所采用的方法与所得的结果为降维方法的选择提供了有益的参考。

关键词：降维；PCA；LLE；Isomap；效果评估

中图分类号：TP311.13 文献标志码：A 文章编号：2095-2945（2018）21-0022-03

Abstract： High-dimensional data will bring great difficulties to data analysis， and the sparse distribution of data and the decline of data organization effect it causes will greatly affect the performance of the model. Dimensionality reduction is one of the ways to solve the "dimension disaster". Starting with three common dimensionality reduction methods， i.e.， PCA， LLE and Isomap， this paper introduces their implementation principles， and then constructs a comprehensive cross model for evaluating the three dimensionality reduction methods based on the models of KNN， SVM， RandomForest， Naive Bayes and Logistics Regression. The results show that in the data set used in this paper， after dimensionality reduction by PCA method and Isomap method， the distribution of the data is uniform in the visible two-dimensional space， while the distribution of LLE method is more concentrated. The average accuracy of the classification model trained with PCA and Isomap is 96.44% and 96.90%， which is higher than 90.74% with Isomap and 90.74% with LLE. The methods used in this study and the results obtained provide a useful reference for the choice of dimensionality reduction methods.

Keywords： dimensionality reduction； PCA； LLE； Isomap； effect evaluation

引言

隨着计算机和互联网的发展，数据呈现爆炸式的增长，高维数据已经越来越常见。但是随着数据维度的增加，数据利用的难度也越来越高。因“维度灾难”而导致模型的参数估计困难，模型结果下降的情况已经影响到了包括机器学习、模式识别、自然语言处理在内的诸多领域。随着数据维度的增高，会导致数据的分布越来越稀疏、数据的组织效果下降，且对计算机硬件的要求也更高，这些问题都会导致模型性能下降、效率下降，给数据分析带来了极大的挑战。

为了解决“维度灾难”的问题，研究者们提出了一系列用于数据降维的方……