随机特征上一致中心调节的支持向量机
2014-07-08廖士中卢玮
计算机工程与应用 2014年17期
廖士中,卢玮
天津大学计算机科学与技术学院,天津 300072
随机特征上一致中心调节的支持向量机
廖士中,卢玮
天津大学计算机科学与技术学院,天津 300072
支持向量机(SVM)是最为流行的分类工具,但处理大规模的数据集时,需要大量的内存资源和训练时间,通常在大集群并行环境下才能实现。提出一种新的并行SVM算法,RF-CCASVM,可在有限计算资源上求解大规模SVM。通过随机傅里叶映射,应用低维显示特征映射一致近似高斯核对应的无限维隐式特征映射,从而用线性SVM一致近似高斯核SVM。提出一致中心调节的并行化方法。具体地,将数据集划分成若干子数据集,多个进程并行地在各自的子数据集上独立训练SVM。当各个子数据集上的最优超平面即将求出时,用由各个子集上获得的一致中心解取代当前解,继续在各子集上训练直到一致中心解在各个子集上达到最优。标准数据集的对比实验验证了RF-CCASVM的正确性和有效性。
并行支持向量机;大规模数据集;有限资源;随机傅里叶特征;一致中心调节
1 引言
支持向量机(SVM)[1]是在统计学习理论基础上发展起来的一类重要的学习方法,是目前最为流行的数据挖掘方法。
SVM的本质是求解一个二次凸优化问题。当样本数据规模l较大时,训练SVM的空间复杂性为O(l2),时间复杂性为O(l3)。在传统PC机上已经无法求解大规模SVM学习问题,因而基于计算机集群、超级计算机并行环境下的并行SVM方法应运而生。
现有并行SVM可分为两类。一类是对已有的串行SVM算法进行并行化。……
登录APP查看全文
