蒋婷,朱明(中国科学技术大学 信息科学技术学院,合肥 230022)



基于HodgeRank的人脸美貌度预测①

蒋婷,朱明
(中国科学技术大学 信息科学技术学院,合肥 230022)

摘 要:随着计算机技术的迅速发展以及人脸识别技术的成熟,人脸美貌度受到越来越多的关注和研究.针对目前的研究方法中存在的对训练数据集的评分过多依赖人工操作,以及对人脸美貌度的预测结果不够详细等问题,本文提出基于HodgeRank的人脸美貌度预测系统,利用数据挖掘方法学习女性人脸的美貌度特征,构造一个模拟预测人脸美貌度的系统.明显区别于之前的研究,该系统训练和测试时采用的人脸数据集放宽了对姿态、光照以及所处环境等条件的限制,评分所需的人工操作大大减少,无需进行大量的人工标定,使用图像的原始像素或纹理特征作为输入,分别采用聚类和改进的BP网络的方法,得到更符合人类特征的美貌度预测结果.

关键词:美貌度预测; HodgeRank排序; 聚类思想; 改进的BP网络; 人脸特征

美可以给人带来心灵的愉悦,爱美更是人类的天性.人类对面部美丽的追求吸引了不同领域学者对美的研究,哲学、医学、认知心理学方面的专家对人脸美丽进行了很多年的研究工作,但什么样的人脸才算是美丽的,到目前为止都没有给出科学的解释,如何更好的计算美,将有助于人类美丽得到科学、客观、可量化的描述,使人脸美丽研究得到长足的发展.随着社会的发展,人们不仅满足于物质生活,还不断关注自己的外表.越来越多的人正寻求不同的方法,力图使美貌度上升.整容行业和化妆品行业的兴起,使对人脸美貌度的研究具有巨大的经济和社会效益,在脸部创伤修复手术以及计算机动画和游戏的角色设计中有着重要的参考价值.可见,人脸美貌度的研究应用已深入我们生活中,具有重要的实用价值.

随着计算机技术的不断发展,计算机视觉问题越来越受到人们的关注,对2D和3D人脸图片的研究更是热点,例如人脸识别[1,2],面部表情识别[3,4],性别识别[5],面部年龄估计[6,7]等,更加促进了人们对美貌度的研究和关注.对人脸美貌度的预测是计算机视觉和生物学领域研究的热门话题,然而人脸美貌度却是个很难定义的概念,我们可以很容易判断人眼看到的人脸照片是否美丽,但却很难明确的定义人脸的美丽信息.目前对人脸美貌度的研究常用的方法是计算人脸各部位的比例作为人脸美貌度预测值或利用深度学习的方法来预测人脸的美貌度.根据人脸比例得到的人脸美貌度预测值是个固定的数值,无法反应随着区域,时间的变化人们审美的变化趋势.深度学习方法首先要对人脸数据集进行评分,需要大量的人工操作且得到的人脸美貌度的预测值并不是一个具体的分值,只能说明图片所在的人脸美貌度的大致区域,不能直观的展示人脸美貌度大小.针对上述问题,我们提出基于HodgeRank的人脸美貌度预测系统,该系统能在数据集处理上大大减少人工的评分操作,得到人脸美貌度的大致范围,同时也得到表征人脸美貌度的0～100间的一个具体的值,更直观的展示人脸美貌度大小.

文章下面的安排如下: 第一章介绍相关工作,第二章介绍提出的方法,第三章介绍实验及实验结果,第四章进行总结.

1　相关工作

人脸美貌度预测主要涉及三个方面: 数据集准备、人脸特征提取、人脸美貌度预测方法.

1.1数据集准备

1.2人脸特征提取

人脸美貌度的研究中选择的人脸特征主要有: (1)几何特征,在人脸图片上提取有意义的特征点,计算感兴趣点之间的几何距离和由这些距离所构成的比率矢量.如[10,11]找出特征点,计算各部分的比例作为特征值; 取人脸的68个关键特征点并归一化作为特征值[12]; 文献[13]利用面部的对称信息等.(2)表观特征,对美丽的分析不再局限于特征点,也不局限于几何距离,对人脸的美丽信息的描述采用图片的原始像素或纹理信息等,并不涉及结构和层次性特征表示.如文献[14]中将整张图片作为特征输入.

方法(1)需要的人脸特征和人脸器官的位置相关,要求人脸图片必须是正面的,且由于要进行人脸识别,环境因素如关照、人脸所处环境的复杂性对实验的影响很大.方法(2)这种方法克服了要求人脸图片为正面的要求,对环境条件的要求也相对变得比较宽.在本文中,我们对比几何特征和表观特征的实验结果.

1.3人脸美貌度预测方法

人脸美貌度研究中常用的方法有: 根据黄金比例的美学标准,将人脸各部分所得的比例和标准值进行比较,得到人脸的美貌度[10]; 文献[12]选定一个人眼认定的美貌度高的人脸作为平均人脸,计算与平均人脸之间的距离(特征值间的距离)作为人脸的美貌度的预测值; 用深度学习的方法来训练人脸美貌度的模型从而得到人脸美貌度; 文献[15]中提出的CSOR方法根据代价函数的结果来预测美貌度的类别等.在本文中分别采用聚类算法和BP神经网络的算法来预测人脸的美貌度.首先由于人脸美貌度类似的人脸图片的特征是相近的,所以在对人脸图片根据美貌度分类时可以采用聚类算法,将人脸分成“很美”、“美”、“一般”、“丑”、“很丑”5大类,其次利用神经网络算法进行特征上更加细致的匹配,得到更加细致的分类结果.

2　提出的方法

整个系统分为两个部分: 图片数据集处理和图片分类,如图1所示.

图1　系统框图

数据处理部分输入图片数据集,进行随机的图片间的两两对比,使得至少一副图片和其余三张图片进行了对比,得到对比矩阵.将该对比矩阵输入HodgeRank排序算法,得到每幅图片的相对分数.图片分类部分输入图片的特征和对应的分值,第一种方法根据图片分值将某一范围内的图片划分为一类,根据聚类思想得到聚类中心,根据距离聚类中心的距离预测人脸美貌值.第二种方法直接将图片特征作为训练输入,图片对应的分值作为训练目标矩阵,利用BP神经网络进行训练得到图片分值的学习模型,即我们所需要的美貌度预测模型.

2.1HodgeRank排序

HodgeRank[16]是2008年Yao,Jiang,Lim等人提出来的,作为一个分析数据排列尤其是针对不完整、不平衡数据集的有用的工具,可以解决选举理论中的数据不一致以及非传递性的偏好关系.理论上来说,HodgeRank排序算法将比较结果空间分解为三个子空间: 梯度子空间、谐波子空间、卷曲子空间.梯度子空间包含传递性的比较结果,如类似A

令∧={1,2,…,m}是m个测试者,V={1,2,…,n}是图片数据集.对比数据集是∧×V×V的函数,对个测试者α结果是反对称矩阵,如表示第α个测试者对比图片i和图片j的结果),用二值化表示为:

定义非负权函数ω:∧×V×V→[0,∞)

统计排名聚合问题就转变为求整体排名得分s:V→R 的问题,即转化为求

其中si,sj表示图片i和图片j的得分.上式等价的加权最小平方问题为:

令G=( V,E)表示图片对比形成的图,V表示图片节点,E表示对比的两节点间的边,有

假设对于每一对比较的图片{i,j}的对比次数是nij,有aij个评分者认为图片i比图片j美丽(反之有aji个评分者认为j比i美丽),则有aij+aji= nij(没有交叉发生时).对每一条边{i,j}∈E偏好概率为,(4)式可以写为:

假设图片的真实偏好概率可以被V上的线性变换函数代替,有

1)均匀分布模型:

2)Bradley-Terry模型:

3)Thurstone-Mosteller模型:

其中σ和ρ是常量,F是高斯误差函数

4)三角变换模型:

这个模型表征了变量稳定性,Yij只取决于边{i,j}的数量或ωij,但不是真正的概率pij.

HodgeRank提供了一个在不同数据模型下的总体分数的排序以及获得的总体排序的不一致性的测量值,在图2中对比每种模型下美貌度的分布.

2.2图片分类

经过HodgeRank排序的分类后,得到训练数据集每张图片对应的分值,并将其作为图片的分类结果.根据图片分类结果的详细程度有两种预测方法: 粗分类,细分类.

2.2.1粗分类

采用聚类思想.经过分类后得到的分值归一化后分布在0～100,将分值每隔20分归为一类,如0～20分作为第一类,21～40作为第二类,依次类推,分别对应人脸美貌度的“很丑”、“丑”、“一般”、“美”、“很美”.在分值分类的同时相应的图片也进行分类,且提取每个类别的图片特征.计算每个类别中每个样本间的相互距离,取到各样本点距离最近的点为该类别的聚类中心.输入待测图片时,提取其相应的特征,计算其与各聚类中心的距离,取距离最近的聚类中心的类别为该测试样本的类别.

2.2.2细分类

对图片进行更加细致的分类采用BP神经网络算法.标准的神经网络算法因简单、宜行、计算量小、并行性强等优点受到广泛的应用.但在长期的使用过程中发现BP算法存在训练时间长、收敛速度慢、易陷入局部最小点等缺陷.针对以上问题采用改进的BP算法,从以下三个方面来改进标准的BP网络.

1)增加动量项[17]: 从前一次的权值调整中取出一部分叠加到本次的权值调整中,如

其中α是动量系数,α∈(0,1).动量项反应了以前积累的调整经验,对于t时刻的调整起阻尼作用,当误差曲面出现骤然起伏时,可以减小震荡趋势,提高训练速度.

2)自适应调节学习率: 学习率h就是步长,从误差曲面上来看,在平坦区域η太小会使训练次数增加,在误差变化剧烈区域,η太大或跨过较窄的坑凹处,使训练出现震荡,反而增加了迭代次数.这里采用自适应调节算法,经过权值调整后如果总误差上升,则本次调整无效即η·β(β＜1),当总误差开始下降后,再进行η·θ(θ＞1).

根据得到的图片类别和提取的图片特征直接进行BP网络训练.这里输入图片特征,输出是对应的类别最终得到一个0～100间的数值作为最终的分值.

图2　常用F模型HodgeRank排序结果分布

3　实验及结果分析

3.1实验数据的HodgeRank排序

使用六个测试者(三个男性,三个女性)对2000张图片进行随机的两两对比实验,保证每张图片都进行了至少3次和其余图片的对比,平均每人进行的比较次数为6010次,比次的全连接比较大大减少了测试者的工作量.对实验结果进行HodgeRank排序时,每张人脸图片作为一个节点,测试者的一次比较就是连接任意两个节点构成一条边,这相当于进行了6010次独立同分布的(I.I.D)的对比实验.HodgeRank将结果分解为三个正交的部分.即总体分数的排序以及获得的总体排序的不一致性的测量值.将实验得到的分数值归一化到0～100作为图片的相对分值.常用的F模型得到的排序结果分布如图2所示.在实验结果,考虑到分类结果的均匀性,选取Bradley-Terry模型和三角变换模型的平均值作分值.如图3所示,HodgeRank得到的图片的分数结果.

图3　图片分类结果: (1)人工分类属于第一类的7张图片,(2)HodgeRank排序分类得到的7张第一类图片,(3)人工分类属于第五类的7张图片,(4)HodgeRank排序分类得到的7张第五类图片,(5)实验得到的图片相对分值

3.2人脸美貌度预测的实验结果及分析

图片特征对实验结果有很大的影响,我们采用如下的图片特征进行对比实验:

1)基于密度: 直接将整张图片的原始像素作为图片特征的输入,图片大小为100×100,得到的特征向量为10000×1维.

2)LBP特征: 使用常用的8邻域基本的LBP,并将LBP的结果进行直方图均衡化,得到特征向量为256×1维

3)基于特征点: 使用ASM算法提取人脸上68个点作为图片特征,得到特征向量为136×1维.

3.2.1粗分类

针对聚类算法,将2000张图片按照分值分为5类,在实验中每个类别所占的比例如下: 16%、19%、24%、24%、17%,图片分布大致均匀.分别计算图片所对应的以上三种特征,得到对应类别图片的聚类中心.选择100张图片进行测试,统计错误预测的图片张数,计算误差,如表3中方法一所示.

3.2.2细分类

针对BP网络,激活函数采用单极形Sigmoid函数,为了提高系统的稳定性和效率采用交叉验证的方法来进行网络训练,误差取所有样本的均方误差和.针对不同的图片特征网络的输入层、隐含层、输出层的节点数如表1所示.

表1　不同的图片特征对应的网络各层的节点数

隐含层节点数对比取值200,150,100,50,30,20时的实验结果来取值.表2显示了标准BP网络和改进的BP网络在LBP特征下的迭代次数的对比.

表2　标准BP和改进BP迭代次数对比(LBP特征)

由于人脸美丽的主观性,每个人对同样的人脸给定的分值是不同的,但总是基于某个分值上上下波动,所以在测试实验结果的准确率时,我们定义误差的计算方式时考虑如下两点: 1)实验结果和期望值之间的误差在5的范围内,我们都认为是可接受的,即数据是正确的; 2)实验结果和期望值之间的误差不是简单的0-1的结果,而是将计算结果和期望值之间的差值的相对值作为误差的结果.即定义误差计算公式为:

其中shope表示期望的分值,smax是可达到的分值的最大值即100,smin是可达到的分值的最小值即0.

在表3对比了几种特征提取方法利用改进BP网络的实验结果以及运算的耗时,图4显示了聚类算法和改进的BP算法对图片LBP特征进行分类的实验结果.

表3　使用不同特征提取算法的实验结果准确率以及计算耗时(取平均值)

图4　测试样本的美貌度预测分值: (1)粗分类得到的美貌度预测结果; (2)细分类得到的美貌度预测结果

通过实验可以看出文中所提的方法在数据集处理时体现出很大的优势,采用改进的BP网络以及人脸的LBP特征进行的人脸美貌度的预测,其效果也很显著.

4　结语

在这篇文章中,我们提出了一种预测人脸美貌度算法.根据人脸的两两比较的结果得到基于HodgeRank排序的人脸分类,对人脸图片进行基于聚类思想的粗分类和基于改进的BP网络的细分类,得到人脸图片的分类值,将其作为预测的美貌度.通过观察实验结果,表明我们的算法有效,可行.在未来的工作中我们首先着力于利用大规模人脸美丽样本库进行研究,提高实验结果的普适性; 其次由于人脸的美貌度不仅取决于人脸的简单特征、相关的比例还和肤色,形状等很多因素有关,如何更加有效的融入其他相关的人脸美貌度的元素进行美貌度预测是今后重点研究课题.

参考文献

1 Zhao W,Chellappa R,Phillips PJ,et al.Face recognition: A literature survey.ACM Computing Surveys (CSUR),2003,35(4): 399–458.

2Tan X,Chen S,Zhou ZH,et al.Face recognition from a single image per person: A survey.Pattern Recognition,2006,39(9): 1725–1745.

3Fasel B,Luettin J.Automatic facial expression analysis: a survey.Pattern Recognition,2003,36(1): 259–275.

4Shan C,Gong S,McOwan PW.Facial expression recognition based on local binary patterns: A comprehensive study.Image and Vision Computing,2009,27(6):803–816.

5Moghaddam B,Yang MH.Learning gender with support faces.IEEE Trans.on Pattern Analysis and Machine Intelligence,2002,24(5): 707–711.

6 Guo G,Fu Y,Dyer CR,et al.Image–based human age estimation by manifold learning and locally adjusted robust regression.IEEE Trans.on Image Processing,2008,17(7): 1178–1188.

7Fu Y,Huang TS.Human age estimation with regression on discriminative aging manifold.IEEE Trans.on Multimedia,2008,10(4): 578–584.

8Likert R.A technique for the measurement of attitudes.Archives of Psychology,1932.

9Oliva A,Torralba A.Modeling the shape of the scene: A holistic representation of the spatial envelope.International Journal of Computer Vision,2001,42(3): 145–175.

10管业鹏,夏慧明,时勇杰.非监督人脸美貌度评价.电子器件,2012,35(2):244–248.

11Milutinovic J,Zelic K,Nedeljkovic N.Evaluation of facial beauty using anthropometric proportions.The Scientific World Journal,2014.

12Zhang D,Zhao Q,Chen F.Quantitative analysis of human facial beauty using geometric features.Pattern Recognition,2011,44(4): 940–950.

13Grammer K,Thornhill R.Human (Homo sapiens)facial attractiveness and sexual selection: The role of symmetry and averageness.Journal of Comparative Psychology,1994,108(3): 233.

14Gray D,Yu K,Xu W,et al.Predicting facial beauty without landmarks.Computer Vision-ECCV 2010.Springer Berlin Heidelberg,2010: 434–447.

15Yan H.Cost-sensitive ordinal regression for fully automatic facial beauty assessment.Neurocomputing,2014,129: 334 –342.

16Sizemore RK.HodgeRank: Applying Combinatorial Hodge Theory to Sports Ranking.2013.

17胡泱.一种改进型BP算法.信息系统工程,2015,(6):111–115.

Prediction of Facial Beauty Based on HodgeRank

JIANG Ting,ZHU Ming
(School of Information Science and Technology,University of Science and Technology of China,Hefei 230022,China)

Abstract:In recent years,with the rapid development of computer technology,perception of human facial beauty is an important aspect of human intelligence and has attracted more and more attention of researchers.For the current study methods that exist in the training data set of scoring most depends on manual processes,and the facial beauty assessment is not detailed enough to predict the results,this paper aims to investigate and develop intelligent systems for learning the concept of female facial beauty with data mining learning and producing human-like predictors.Our work is notably different from and goes beyond previous works.We impose less restrictions in terms of pose,lighting,background on the face images used for training and testing,which greatly reduces the manual operation for classification and we do not require costly manual annotation of landmark facial features but simply take raw pixels or texture feature as inputs.We show that a biologically-inspired model with clustering and the improved BP network method can produce results that are much more human-like approach.

Key words:facial beauty prediction; HodgeRank sorting; clustering idea; improved BP network; facial feature

基金项目:①中科院先导课题(XDA06011203)

收稿时间:2015-07-28;收到修改稿时间:2015-09-24