田丰,许昊骏,王攀,侯小飞,华闵磊

(1.上海大学上海电影学院,上海 200072;

2.上海大学上海电影特效工程技术研究中心,上海 200072)

3D-VR色彩视觉舒适度评价

田丰1,2,许昊骏1,王攀1,侯小飞1,华闵磊1

(1.上海大学上海电影学院,上海 200072;

2.上海大学上海电影特效工程技术研究中心,上海 200072)

随着虚拟现实(virtual reality,VR)技术的发展,3D-VR视频已成为技术与商业热点.3D-VR多机拍摄会导致部分画面出现色彩差异,影响观众的观影体验.定量分析视频中左右视差图亮度、饱和度、色相差异对观众舒适度的影响.通过主观评价实验,基于HSL(色相(hue)、饱和度(saturation)、亮度(lightness))颜色空间建立了3D-VR视频纹理差异与舒适度关系模型.根据舒适度评价模型设计了舒适度预警平台,为3D-VR影视内容创作和制作提供服务.

3D-VR;人眼视觉系统;视觉舒适度;HSL模型

目前,虚拟现实(virtual reality,VR)技术已经成为技术与商业热点,头戴式显示设备也已开始普及.在内容方面,VR视频作为一种新的媒体模式,能使观众产生更好的沉浸感.普通的VR视频一般为全景视频,观众虽然可以进行全方位观察,但是看到的内容依旧为平面内容. 3D-VR视频相比于普通VR视频,在全景的基础上引入了双目立体视觉系统,观众通过虚拟现实设备观看3D-VR视频时,双眼看到的是在全景下左右眼具有视差的立体图像,从而使观众获得更好的沉浸感.相比于普通的VR视频,3D-VR视频无疑是更为适合VR设备的媒体内容.

然而,3D-VR视频作为一种通过多机拍摄的合成视频,不同摄像机在拍摄时会因为光源、设备本身等原因导致画面在色彩上产生一定的差异.对于观众来说,当视频播放时,如果左右眼画面的差异过大,就会产生不适感,进而影响整个观影体验[1].

目前,对立体视频内容舒适度的研究大多为画面内容差异中的个别方面,并没有一个比较完善的整体评价标准[2-5].对于影视创作者,更需要的是一个影视内容创作的辅助工具.对于虚拟现实视频,由于采取了相应虚拟现实的设备,并不会出现互扰等一些普通3D视频会产生的问题.本工作从色相(hue)、饱和度(saturation)、亮度(lightness)方面对双目立体视频中的画面部分进行研究,并建立了基于HSL(色相(hue)、饱和度(saturation)、亮度(lightness))的评价模型,最后根据结果设计了为创作者内容制作提供服务的视频评价预警平台.

1 研究背景

1.1 国内外研究现状

对于双目立体视觉,影响观看者体验的因素中最为直观的便是双眼内容不匹配. Banks等[1]对双目内容不匹配的情况进行了归纳,其中包括左右眼内容在几何上的错位,以及左右眼图像上的差异等.国内外研究者对于立体视频中的双眼差异已经有了一定的研究基础[6-11].Kooi等[12]通过定性分析的方式,对影响双目立体图像舒适度的因素进行了归纳,认为当色相、亮度、对比度、互扰、匹配差异超过一定阈值后会引起观众不适.Sohn等[13]通过主观评价的方式对立体图形的左右视图视差进行研究,提出了基于人眼的深度舒适度评价方法.Disparity等[14]则对立体视频中的视觉辐辏调节冲突进行了研究.李素梅等[3]研究了双目立体图像的饱和度差异对舒适度的影响,刘畅等[4]则针对立体图像中左右眼对比度差异对人眼舒适度的影响提出了一个评价方式.虽然对于画面差异的不同方面都有一定的研究,但是对于3D整体,特别是3D-VR影片中的画面差异评价指标的研究并不完善.

在3D-VR视频中,左右眼画面色彩内容不匹配是目前的主要问题之一.3D-VR技术作为双目3D技术的衍生,在几何错位上已经有了一定成熟的解决方案.但是,由于3D-VR与普通的双目3D相比,需要更多的摄像机对整个环境进行拍摄,在拍摄时会因为包括环境光源、硬件感光元件等一些拍摄条件上的差异,使得双眼内容在色彩上产生差异.例如,当环境中存在光源时,面对光源的相机会为了避免过度曝光而调整光圈,使得画面与其他画面相比产生强烈的差异.观众在观看这一类存在画面差异的图像时,会因为左右眼内容不一致,大脑无法顺畅地将双目内容合成一幅立体的单图,从而产生眩晕感与不适感,影响整个观看的感受.

1.2 HSL色彩空间

不同色彩模型对色彩的表达方式各不相同.虽然色彩本身由不同频率的光组合而成,但会因为人的主观观察而产生一定的认识误差.色彩空间基于一个多维度的坐标系统,通过数值对颜色进行定义.常见的色彩空间包括多用于计算机中的三维坐标系RGB(红(red)、绿(green)、蓝(blue))三原色光模式,以及用于工业的四维坐标系CMYK(青(cyan)、洋红(magenta)、黄(yellow)、黑(key plate))印刷四分色模式.不同的色彩空间模型通常都对应一定的应用要求.

HSV(色相(hue)、饱和度(saturation)、明度(value))与HSL是通常在艺术领域中使用到的色彩空间模型.比起RGB类型的加法混色法以及CMYK类型的减法混色法,使用色相、饱和度、明度三个坐标描绘色彩,在艺术设计概念上显得更加直观,并且基本包含了人眼所能感知到的所有颜色.

HSL色彩空间与HSV类似,都是基于人眼视觉系统而建立的色彩模型.二者的主要区别在于,HSV中的明度值(value)表达的是在纯色中白色的亮度,而HSL中的亮度值(lightness)表达的是该色彩在灰度值上的亮度,对于明暗的区分更为明显.同时,HSL模型本身也可以与计算机显示器中通常使用的RGB三原色光模式相互转化.

1.3 研究目的

对于3D-VR内容创作者,在创作时需要尽可能避免左右眼内容差异.借助于现有相对成熟的拍摄系统,可以很好地避免在几何空间上的匹配问题.同时,由于3D-VR内容本身是配合VR设备进行观看的,因而也不会存在通常双目3D视觉中会出现的互扰影响.画面色彩的差异便是影响观影感受的最重要的方面,而目前对于3D-VR的画面色彩差异通常都对单一方面进行分析,而没有一个较为整体的评价模型.此外,对于内容创作者,已有的很多研究成果与实际应用并未很好结合.

本工作根据人眼视觉系统以及色彩空间的原理,将左右眼内容差异总结为色相差异、饱和度差异以及亮度差异3个方面进行讨论.通过主观评价拟合出左右眼画面差异评价的数学模型,采用量化的方式对3D-VR内容进行评价,并且在此基础上制作了“VR影视纹理可视化预警平台”,通过对3D-VR视频内容进行分析,对影响观影舒适度的因素进行可视化展示,提醒3D-VR内容创作者及时对画面中引起观众不适的左右眼差异内容进行调整,更好地为内容创作者提供服务,提升观影舒适度.

2 实验过程

2.1 实验设计

对于人眼来说,通常无法很好地分辨细小的色彩差异.同时,观众在观看3D-VR视频时,实际看到的内容是在左右眼中所看到的信息经过大脑进行融合处理后获取的单幅立体图像,因此对于细小的差异本身也具有一定的包容性.当左右眼内容差异超过一定阈值时,大脑便无法将左右眼中的双目视图很好地进行融合,观众在观看这一类图像时就会产生明显的不适,严重的会产生眩晕、恶心等生理反应.本实验目标是对这样的阈值进行测定.

实验主要采取的方式为目前主流的主观评分方式,由被试者对所观看的图像以五级评分的方式进行评分,评分标准如表1所示.

表1 立体图像色彩舒适度主观评价等级Table 1 Subjective evaluation standard of stereo image color comfort

为了保证实验结果的准确性以及有效性,在实验时对被试者进行了筛选,选取的被试者双目视力正常.考虑到本实验需要对亮度、饱和度、色相进行比较测试,所以选取具有正常色觉感知以及对亮度感光正常的被试者.最终选取的被试者年龄在20∼40岁之间,共20名, 10男10女,其中8人对VR观影有一定经验.

2.2 实验步骤

本工作主要将左右眼内容的色彩视觉差异归结为三部分：亮度差异、色相差异、饱和度差异.实验素材取自3D立体电影《疯狂动物城》,一方面保证左右眼看到的图像本身是具有一定差异且差异不会引起观影不适的立体图像,另一方面也保证画面色彩的丰富性.由于主要测定的是视觉色彩差异,为了排除由于影片本身镜头的变化以及镜头运动等因素带来的影响,选择影片中的部分单帧画面而非视频进行提取处理,以获取左右眼中单独看到的单帧图像.随后对获取到的左右眼图片的亮度、色相以及饱和度分别进行调整,从而得到关于左右眼不同差异上的对比图片.

测试程序通过Unity引擎开发,在头戴式显示设备中显示测试图片(见图1).被试者佩戴设备进行观看并对画面内容进行评分.为了避免由于头戴式显示设备本身的原因而对实验产生干扰,测试程序取消了头盔中的陀螺仪功能,从而保证被测试者不会因为头部的一些运动而使得画面产生晃动.控制人员通过键盘对头盔内所显示的左右眼内容进行切换,并且记录被试者的打分情况.具体实验方式如下.

图1 实验环境演示Fig.1 Environment of experiment

2.2.1 级别确定

对于色相、亮度、饱和度三个方面来说,色相由于其本身特性,使用0◦∼360◦的数值进行衡量,而亮度与饱和度则以0%∼100%的百分比进行衡量.考虑到实验本身的操作方式以及实验结果的可信度,选择将色相分割为60个级别,而将亮度以及饱和度分割为100个级别.将获取的每张单眼图片转换为HSL颜色空间后,按照各个级别分别进行变换,生成100张不同亮度的图片、100张不同饱和度的图片(见图2)以及60张不同色相的图片(见图3).对所有获取到的左右眼图片都进行变换,并将这些生成后的图片组中的每张图片都进行编号并且保存.

2.2.2 测试方式

将生成的图片组载入基于Unity引擎所编写的测试软件中,通过测试程序将左右眼图片显示在被测试者的头戴式显示设备中.首先固定左眼内容,不断切换右眼图片.同一张图片的单次测试时间控制在20∼30 s内,连续的测试时间控制在15 min以内,防止人眼在进行测试时由于观看时间过长而产生视觉疲劳,从而影响实验结果.按照递增的顺序切换右眼图片,使其出现轻微变化的同时,避免因为色彩变化过快导致被试者出现眼部不适.考虑到所采用的五级评分制及评价标准中,第三级的评分通常为勉强观看的临界点,而第五级评分为人无法接受的临界点,因而在测试时主要记录的数值为第三级以及第五级的图片编号.同时,当内容切换速度略快于被试者的适应速度时,被试者会产生一定的误判,所以对于同一张图片会进行多次测试,从而确定结果的可信性.

图2 通过变化原始图片饱和度生成的部分图片Fig.2 Some imags generated by changing the value of saturation

图3 通过变化原始图片色相生成的部分图片Fig.3 Some imags generated by changing the value of hue

3 结果分析

3.1 数据处理

为了使获取的实验数据更为有效,需要对记录的数据进行一定处理.以左眼为基准的主观实验中,每一张左眼图片的编号都对应着一组第三级右眼的图片编号以及一组第五级的右眼图片编号.首先,对于每一级中所有的编号都进行累加,并且求其均值.由于会出现部分误差极大的数据,因而需要对这些数据进行优化处理.通过对每组数据与所求得的均值进行线性相关计算,来获得每组数据与均值的线性相关度.随后将获取的线性相关度中的最小值所代表的数据剔除,重新计算整体均值.

3.2 实验结果

二是涉农专项转移支付资金增长容易压减难。专项转移支付目录压减后，财政部每年公布的中央对地方税收返还和转移支付预算表中的项目也相应有所变化。由于2014年之前的预算表还未那么详细，加之2010年和2014年是预算变化较大的两个时间节点，为了准确分析涉农专项资金规模的变化，我们分别统计分析了2010—2013年、2014—2016年预算表中同一涉农专项的变化情况（详见图1和图2）。从中可以发现，大多数涉农专项转移支付资金长期处于增长态势，仅有个别年份是下降的。

3.2.1 色相结果

图4显示了测试中对于色相变化的舒适度评价结果.虚线部分为实验中获取的所有数据结果,实线部分为数据处理拟合后所获得的舒适度边界区域.红蓝实线部分为视觉舒适度的极限,当色相变化度超出红色与蓝色边界时,即视觉舒适度的评分已经超过5分,表明被试者完全无法接受左右眼的色相差异.根据主观评分后处理的结果,可以将色相变化对人眼舒适度的影响总结为

式中,∆Cright表示右眼对应左眼∆Cleft色相时的舒适度容忍范围.

图4 色相变化引起的视觉舒适度Fig.4 Visual comfort of the change of hue

由于色相本身呈现的是色环状态,所以由图4可以看出,当色相在170◦∼300◦区域时,颜色从青色向紫色过渡,同时人眼对于色彩的差异容忍度降到最低.同时可以看出,人眼对于色相差异的容忍度较小,色相差异对整体舒适度评分的影响较大.

3.2.2 饱和度结果

图5是在饱和度变化的情况下人眼舒适度的评分情况.所有结果以虚线表示,拟合后的实验结果以实线表示,其中红蓝实线表示在固定左眼饱和度的情况下,右眼饱和度的上下限接受的第五级极限区域.当双眼图像的饱和度差异过大时,双眼竞争情况会十分显著,观看者会被迫交替变化左右眼看到的视图,从而产生强烈的不适感.分析数据可以得到在Sleft处人眼所能接受的差异区间

由式(2)可以看出,当饱和度过低时,人眼对于饱和度差异相对敏感,而当饱和度在20%∼40%区间时,人眼对于饱和度差异的敏感度最低;当饱和度超过40%,人眼受到的刺激逐渐增强.当饱和度过高时,被试者已经产生了一定的不适感,因而人眼对于左右眼的差异容忍度大幅降低.

图5 饱和度变化引起的视觉舒适度Fig.5 Visual comfort of the change of saturation

同时在实验中发现：当左眼饱和度超过50%之后,饱和度本身的干扰过大,严重影响了实验结果,因此将饱和度控制在50%,对于超出限定范围的部分仅进行了预测;在画面饱和度过高的情况下,人眼对于左右视图的饱和度差异容忍度较低,饱和度差异对于舒适度评价的影响较小.

图6是针对亮度变化而产生的实验结果,虚线表示所有测试结果,拟合后的边界结果以实线表示,其中红蓝实线表示舒适度第五级极限边界.实验中将亮度分成了100个级别,随着左眼亮度的变化可以看出,亮度越高,人眼可以接受的差异度也提高,当亮度超过45%后,人眼可以接受的差异度逐渐稳定.

图6 亮度变化引起的视觉舒适度Fig.6 Visual comfort of the change of lightness

4 舒适度预警平台

本工作以实验所获得的结果为基础,设计了用于对视频内容进行检测的“VR影视纹理可视化预警平台”.通过对3D-VR视频中的每帧左右眼画面进行像素差异检测,从而获得视频中左右眼内容色彩差异区域.如图7所示,由于灯光直射等原因,部分相机所拍摄到的视频内容相对偏暗.根据预警平台,可以快速对画面进行分析,并且通过可视化的方式将结果显示出来.同时,差异部分根据实验所获取的评价模型进行判定,当实际差异结果超出了人眼所能接受的范围或者超出了人眼所能容忍的极限范围,即超出了第三级以及第五级评价后,程序会给出预警.在图7中,黄绿色区域即系统所提示的双目视觉差异强度预警.通过此平台,制作人在制作3D-VR视频后,可以更加直观地进行检测,并对其中的预警内容进行修正,使得观众在观看视频时不会因为色彩差异等问题而影响观影感受.

图7 VR影视纹理可视化预警平台Fig.7 Visualization early warning platform of VR video texture

5 结束语

本工作针对3D-VR视频中左右眼画面色彩差异,通过对色相、亮度、饱和度方面进行分析,提出了基于HSL色彩空间的立体视频舒适度评价模型,并设计了“VR影视纹理可视化预警平台”,从而避免影视创作者制作出引起观众不适的存在色彩差异的视频内容.

由于在实际3D-VR影视作品中,影响观影舒适度的因素并不只有色彩差异,因此将其他影响因素纳入舒适度模型并制作更加完善的“VR影视纹理可视化预警平台”是未来的一大研究方向.

[1]Banks M S,Read J C A,Allison R S,et al.Stereoscopy and the human visual system[J]. SMPTE Motion Imaging Journal,2012,121(4)：24-43.

[2]王晓燕,王世刚,姜秀红,等.亮度优化立体视频视觉舒适度评价[J].中国光学,2015,8(3)：394-400.

[3]李素梅,付贝贝,臧艳军,等.影响立体图像舒适度的饱和度范围测定[J].天津大学学报,2012, 45(8)：669-676.

[4]刘畅,李素梅.影响立体图像舒适度的对比度范围的测定[J].光电子·激光,2014,25(4)：748-755.

[5]臧艳军,李素梅,卫津津,等.影响立体图像舒适度的亮度范围测定[J].电子测量技术,2012,35(2)： 59-64.

[6]Lambooij M,Ijsselsteijn W,Heynderickx I.Stereoscopic displays and visual comfort：a review[EB/OL].(2007-04-02)[2017-03-15].http：//spie.org/newsroom/0648-stereoscopicdisplays-and-visual-comfort-a-review?highlight=x2408.

[7]杨蕾.多视点静止自由立体图像处理的理论分析及实验研究[D].天津：天津大学,2007.

[8]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV：visual comfort[J].IEEE Transactions on Broadcasting,2011,57(2)：335-346.

[9]ITU Radiocommunication Assembly.BT.500-13 Methodology for the subjective assessment of the quality of television pictures[S].Geneva：International Telecommunication Union,2003.

[10]Kim D,Choi S,Sohn K.Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics[J].IEEE Transactions on Circuits and Systems for Video Technology, 2013,23(3)：482-487.

[11]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV：visual comfort[J].IEEE Transactions on Broadcasting,2011,57(2)：335-346.

[12]Kooi F L,Toet A.Visual comfort of binocular and 3D displays[J].Displays,2004,25(2)： 99-108.

[13]Sohn H,Jung Y J,Lee S,et al.Attention model-based visual comfort assessment for stereoscopic depth perception[C]//2011 17th International Conference on Digital Signal Processing (DSP).2011：1-6.

[14]Park J,Oh H,Lee S,et al.3D visual discomfort predictor：analysis of disparity and neural activity statistics[J].IEEE Transactions on Image Processing,2015,24(3)：1101-1114.

本文彩色版可登陆本刊网站查询：http：//www.journal.shu.edu.cn

Evaluation criteria for visual comfort in 3D-VR

TIAN Feng1,2,XU Haojun1,WANG Pan1,HOU Xiaofei1,HUA Minlei1
(1.Shanghai Film Academy,Shanghai University,Shanghai 200072,China;
2.Shanghai Engineering Research Center of Motion Picture Special Effects, Shanghai University,Shanghai 200072,China)

With development of the virtual reality(VR)technology,3D-VR video has become a hot spot.3D-VR video is taken with multiple cameras,which would lead to color differences in some parts of the screen.The differences in hue,saturation and lightness of the left-right parallax that affecting audience comfort are quantitatively analyzed.In a subjective evaluation experiment,a relationship model between 3D-VR texture difference and comfort is built based on HSL(hue,saturation,lightness)color space.With the model, a visualization early warning platform of VR video texture is development to help artists in the 3D-VR content production and creation.

3D-virtual reality(VR);human visual system;visual comfort;HSL(hue, saturation and lightness)model

TP 391.41

A

1007-2861(2017)03-0324-09

10.12066/j.issn.1007-2861.1936

2017-03-29

上海市科委“科技创新行动计划”高新技术领域资助项目(15511105002);上海大学电影学高峰学科和上海电影特效工程技术研究中心资助项目(16dz2251300)

田丰(1976—),男,博士,研究方向为电影技术.E-mail：ouman888@126.com