尤志翔 ，安 平，2，张兆杨 ，2

（1.上海大学 通信与信息工程学院，上海 200444；2.上海市新型显示与系统应用教育部重点实验室，上海 200444）

3D显示技术可以提供更逼真的沉浸式视觉效果，从而获取更高的关注度。双眼观看到的场景存在一定差别而获得的立体感称为双目视差，而当观看者移动视点时看到的场景变化则称为运动视差。这两种视差成为人类获取立体感最重要的两种要素[1]。以兼备双目视差和运动视差两种技术特点的自由视点立体技术为核心的应用系统在媒体展示、广告传媒、电影电视、通信、3D游戏、体育直播等领域有广泛的应用前景。

1 3D自由视点应用系统关键技术

1.1 3D自由视点应用系统概述[2]

通常，3D视频系统框图如图1所示，分为3D内容获取、编解码、传输、合成和立体显示几个流程。其中，图1下半部分的多视内容获取、多视编解码/绘制和多视显示构成3D自由视点应用系统。在处理链中，自由视点显示终端设备是最直观的环节，也最先进入市场应用。3D视频内容获取、编码传输以及绘制合成等技术的发展却相对滞后，尤其多视点3D视频内容的制作难度较大，广泛地进入市场尚待时日。从立体显示效果来看，自由视点显示设备屏幕尺寸越大，突出感和纵深感越强，越能给人以视觉震撼。由于光栅设计与制备技术和工艺的限制，超大尺寸尤其是100 in以上的自由立体显示终端非常稀缺，目前难以满足多媒体展示等相关领域的实际应用需求。

1.2 3D自由视点显示技术

3D自由视点显示系统利用微光学技术模仿人眼的立体成像过程，等效于在传统平面显示面板内“加戴”3D眼镜（观众无须佩戴）。利用视差光栅（Paralax Barrier）、微柱镜（Lenticular Sheet）或指向光源（Directional Backlight）等光学处理手段将两幅甚至多幅像素点精心排列的图像在空间上分开，其光线分别投向不同的视域，形成了多视图的观看效果，观众在不同视角可以看到发生细微变化的左右眼立体图像，兼具运动视差和双目视差的特点。

1）视差光栅技术（Paralax Barrier）

视差光栅技术的显示原理是在普通显示器的面板内增加一层不透光条纹和透光条纹间隔排列成的光栅，当光栅层与2D显示层之间的距离以及条纹的宽度精确匹配时，能使得背光板的光透过该光栅之后，到达左眼的光线只经过奇数行的像素，到达右眼的光线则只经过偶数行的像素，如图2所示。由此将左眼及右眼可视的画面分开，使观看者可看到3D影像。

该技术可以与LCD，PDP等平板显示工艺兼容，具备在量产性和成本上的优势。其缺点主要在于背光被50%左右的不透光条纹阻挡，亮度也随之降低，影响清晰度。此外，分辨力会因同时视点数目的增加而等比降低，进一步影响观看清晰度。

2）微柱镜技术（Lenticular Sheet）

基于微柱镜技术的3D自由视点显示设备是在2D显示器的面板内增加了一个多透镜层，如图3所示，像素平面位于透镜的焦平面上，每个柱透镜下的图像像素被分成几个子像素，而以垂直或一定倾斜角度排列的柱面透镜控制左右图像的射向，使右眼图像聚焦于观看者右眼，左眼图像聚焦于观看者左眼，以达到让观看者在不同角度看到不同的影像的立体效果。目前透镜的截面加工工艺可达微米级，使得条纹状立体图像更加精细，因此这种技术目前广泛用于高清晰的3D数字电视、3D手机、3D大屏幕显示等。

微柱镜不会阻挡背光，故显示亮度不受影响，但由于其3D显示基本原理仍与视差光栅技术相同，故分辨力会降低。

3）指向光源技术（Directional Backlight）

对指向光源3D技术投入较大精力的主要是3M等公司，指向光源（Directional Backlight）3D技术搭配两组LED，配合快速反应的LCD面板和驱动方法，让3D内容以排序方式进入观看者的左右眼互换影像产生视差，如图4所示，进而让人眼感受到3D三维效果。其优点在于对分辨力、透光率的影响小，3D显示效果佳，但目前技术尚在开发过程中，产品尚未成熟。

1.3 3D自由视点内容获取与生成技术

3D自由视点显示需要同一场景多个视点视频内容的描述，因此最直观的内容获取方式是如图1中那样通过多视摄像机阵列进行采集获取，另一种方式是2D高清摄像机拍摄后，通过2D视频转换为3D视频的处理来得到，如图1下端所示。

多视摄像阵列直接拍摄的3D内容获取方式可分为如下所述的3种：

1）密集视点方式

指通过64～128个摄像阵列同时拍摄同一个三维场景直接获得3D内容的方式，在编码传输和解码后可通过基于图像的绘制生成3D内容[3]。但其存在的问题是因视点数太多，使拍摄系统庞大、复杂，且数据量巨大，造成压缩编码的负担繁重。

2）稀疏视点方式

指由4～16个较少的摄像阵列来获取3D内容。此种方式可显著缓解上一种方式存在的问题，但因视点数较少在屏前观看时有视点间的突变感，故为了达到视点间平滑切换和漫游交互的要求，需对视点数据基于提取的几何信息和三维信息进行重构。

3）多视视点加深度信息获取的方式

此种方式也称为MVD（多视+深度）方式[4]。该方式可采用稀疏的视点，由于多个彩色视频和深度包括在接收数据中，由收到的视频和深度利用基于深度图像的绘制（DIBR）在显示端生成更多的中间虚拟视图[5]，因而在很大程度上可解决前面两种方式存在的问题。

1.4 自由视点多视视频压缩编解码技术

3D自由视点显示的视频内容具有多个视点的视频数据，最直观的解决方案就是对每一路视点的2D视频数据单独使用现有压缩编码技术（如H.264/AVC等）进行处理，这样相比于2D视频需要存储和传输的数据量更为巨大。由于3D自由视点视频通常包括同一场景多个视点的图像，这些不同视点的图像在同一时刻也具有高度的冗余度。因此，对多视点视频图像的编解码技术在原有传统2D视频时间相关性的基础上，增加了对于多视点图像之间空间相关性的处理（多视点视频编码技术，MVC）。

MVC编码效率比各个视频单独用基于H.264/AVC编码可提高2.5 dB左右的增益，对每个视点视频带宽的压缩不到一半，N个视点视频所占带宽仍然巨大。因此1.3节中MVD方式由于其所用的视点数比多视点视频（MVV）所需的视点数大量减少，成为当前研究的热点。MVD的系统框架如图5所示，其中，因N数可大量减少，虽然多了深度图编码，但深度图编码的码率仅是彩色视频序列编码的25%，总的码率显著减少[4]。目前国内外研究集中在如何快速地深度估计，通过深度图增强获得精确的深度图，进一步提高深度图编码效率和快速虚拟视图绘制等4个关键技术上。

2 3D自由视点视频系统在上海世博会中国国家馆中的实践

上一节所述3D内容获取中的2D高清视频转换为3D视频技术、深度估计和增强技术、快速虚拟视点绘制技术以及3D自由视点显示技术结合上海世博会中国国家馆设定的项目要求进行了工程应用实践。

2.1 中国国家馆的应用要求

2010年上海世博会中国国家馆中的3D自由视点视频应用系统由分布在49 m层的“希望大地”仿真湿地展项和33 m层的“森林碳汇”低碳展项组成。要求本课题组开发103 in，85 in和46 in共7套最先进的3D自由视点显示系统，观众无需佩戴立体眼镜即可在屏幕前直接观看到栩栩如生的立体影像，且立体视角大，观看舒适度高，观看人数不限。同时，还要求在3D内容制作中综合应用多通道3D-CG特效动画技术和2D-3D转换技术，并在实施中通过视差调控技术和参数化播放控制技术，使得自由立体视频显示技术和中国馆大型主题展示的应用需求完美结合，如表1所示。

表1 3D自由视点系统应用需求

根据以上要求，进行了系统设计、显示系统制备和3D内容制作。

2.2 系统设计

3D自由视点视频应用系统布局框如图6所示，远端机房中的后台主机数据流（无压缩RGB通道，1080p）通过DVI/HDMI延长发送器发出，经专用光纤网络传输后，由DVI/HDMI延长接收器接收，送到3D显示器中显示。

1）“希望大地”仿真湿地应用

位于中国馆49 m层（12楼）的“希望大地”仿真湿地展项应用了1台85 in和2台46 in3D自由视点视频系统，如图7所示。立体画面融于仿真湿地之中，模拟激流水体、静态水体和沼泽水体等湿地环境，展现希望大地生机盎然的自然景象，营造出3D立体视频呈现真实场景的视觉效果。

图7 世博会中国馆“希望大地”仿真湿地的立体视觉效果

2）“森林碳汇”应用

“森林碳汇”低碳展项位于中国馆33 m层（8楼）的“低碳行动”馆中，由4台103 in 3D自由视点电视系统组成，如图8所示，立体电视机两两一组分别藏于造型树之间，展示内容以立体影像显示湿地和森林美景，宣传低碳理念。

2.3 显示系统制备

多视点电视由于光栅分光带来的分辨力损失，很长时间内难以得到实用。但随着高分辨力显示器的出现，多视点显示器对分辨力造成的损失得到了缓解。为了达到高画质的观看效果，本项目2D底屏均采用1920×1080的高清分辨力底屏，以提高立体图像的清晰度与对比度。在合适的观看距离处，观众甚至可以忽略光栅对分辨力的影响。同时，根据现有可提供的面板，综合考察亮度、对比度和价格后，选择了松下103 in和85 in PDP专业显示器作为大屏幕2D底屏，选择46 in LCD屏幕作为小尺寸底屏。

考虑到展示所需要的现场亮度配合情况，根据1.2节所述，选择微柱镜光栅应用于作为小尺寸3D自由视点显示。选择视差光栅而不是微柱镜技术应用于大尺寸PDP底屏，主要有以下两点考虑：

1）目前的加工工艺难以实现大尺寸单张光栅膜应用，若使用微柱镜光栅拼接则会使得接缝处的立体效果大打折扣；

2）由于世博设备展示的特殊性，要求超过连续200天及每天16 h以上的满负荷运转，由此PDP表面的热量容易加速微柱镜光栅的变形和老化，会使得光栅变形造成微柱镜和屏幕子像素无法按照设计要求精确对准，影响3D显示效果。

2.4 3D内容制作

1）总体技术方案

项目中的3D视频节目制作主要采用2D-3D图像/视频转换技术、多通道动画（3D-CG制作）技术以及独特的视差调控和特效渲染等技术手段。其总体技术方案如图9所示。

2）视差调控技术

在设计视差值时，将屏幕作为焦平面，此处人眼的视差为零，在场景中需要有突出感的前景物体通常采用负视差，即左眼看到的像素偏右，右眼看到的对应像素点偏左，两眼视线交叉，则可以感到物体突出。相反地，背景物体采用正视差，使观众有景深感。

大多数立体视频显示往往在观看时会使观众有头晕、目眩等不舒适感，这是由于形成发散视差所致。实际的研究表明，只有满足双眼视差异的图像才能被融合成单一的立体图像，深度的设计要将视差控制在一个合理的范围内，以防止视差过大而造成头晕目眩。因此采用的视差值需要满足人眼的视觉特性而能根据人眼的舒适程度进行视察调控。

另一方面，由于视差产生的立体感觉会根据不同的三维显示器而有所差异，本项目中的视频转换方案结合了视差调控技术，较好地防止因发散视差而不能使左、右成像点融为一点的现象，并可以根据后期对显示器的测试，结合具体的观看需求对3D视频节目做出调整，使人眼观看达到最为舒适的效果。

3）特效渲染技术

由于观看图片、视频时，人眼聚焦在屏幕处，视野受到了限制，在观注感兴趣区域时并不需要经过眼睛对晶状体焦距的反复调解，所以会减弱一些对深度的判断，此时生理立体视觉完全依靠双眼视差产生。为此在3D内容制作是加入了特效渲染，如线性透视、光线、阴影等来丰富心理立体视觉，加强最终看到的立体效果。图10是3D内容制作的效果图。

3 小结

大屏幕自由视点立体显示设备能够给予观众很强的立体感和沉浸感，应用于展览展示应用时融为一体的虚拟现实技术更是给人身临其境之感。如何在尺寸、视角、视点平滑切换方面获得更多突破是3D自由视点显示技术能否获得更大范围应用的关键之一。

针对自由视点立体显示的3D内容获取和生成，本项目结合世博会项目的实践探讨了2D-3D转换、3D-CG、多视点视频生成、深度获取、视点绘制等相关技术。

[1]MATUSIK W，PFISTER H.3DTV：a scalable system for real-time acquisition，transmission，and auto-stereoscopic display of dynamic scenes[EB/OL].[2011-03-29].http∶//people.csail.mit.edu/wojciech/3D TV/3DTV.pdf.

[2]张兆杨，安平，张之江，等，发展3DTV需解决的技术及其应用趋势[J].电视技术，2010，34（6）：4-6.

[3]DROSES M，FUJII T，TANIMOTO M.Ray-space interpolation based on filtering in disparity domain[EB/OL].[2011-03-29].http∶//sciencelinks.jp/j-east/article/200421/000020042104A0636207.php.

[4]LIU Shujie，LAI Polin，DONG Tian，et al.New depth coding techniques with utilization of corresponding video[J].IEEE Trans.Broadcasting，2011，57（2）：551-561.

[5]SMOLIC A，MULLER K，DIX K，et al.Intermediate view interpolation based on multi-view video plus depth for advanced 3D video systems[EB/OL].[2011-03-29].http∶//www.the3dphone.eu/files/publications/1.pdf.