张光

摘要：可视媒体（Visual Media）技术由于具有非常广阔的应用前景，已经引起了国际学术界、企业界、政府以及国防军事部门等的高度关注。山东省的可视媒体技术在研究和发展上均已起步，并获得了一定的成绩。为了对山东省的可视媒体技术研发现状及发展趋势进行深入了解、分析和前瞻，本文对相关情况进行了调研，并对其进行了总结和梳理，从而可以更好的指导此领域的近一步发展。更重要的是，作为一项典型的应用型研究技术，对于可视媒体技术研发现状及发展趋势的研究将对类似的高新技术转化和产业化提供有效的启示和经验。

关键词：可视媒体；现状；发展；预测

中图分类号：TP330 文献标识码：A DOI：10.3969/j.issn1003-8256.2014.04.008

1 可视媒体技术概述

视觉作为我们人类认识和感知这个世界的最重要手段，能够给我们提供大量的有效信息，包括图像、文字、视频等等，大约占我们所接收到的信息的百分之八十以上。通常，把承载视觉信息中非文字部分的媒体类型称为可视媒体。可视媒体技术一直以来都是令人非常感兴趣的问题[1]。所谓可视媒体技术（Visual Media Technology），一般而言，是利用计算机技术来产生一种虚拟环境，并且能够使用户在心理上产生一种融入于虚拟环境中的感觉，这是通过图形图像技术构成三维空间，或者把其它现实物体和环境通过某种技术编制到计算机虚拟空间中来实现的，不仅如此，用户还可以与这种虚拟的环境进行某种程度的交互[2]。当今社会信息技术与网络技术飞速发展，可视媒体的获取与传播日益变得方便快捷，可视媒体的地位也有显著提升，现已逐渐成为信息处理和信息资源建设的主体[3]。

随着计算机信息科技的发展和多媒体设备硬件性能的提高，可视媒体技术的发展变得越来越迅速，应用领域也变得越来越广泛。可视媒体技术作为信息化、数字化产业等重大领域进一步发展的核心需求，已经逐步渗透到政治、经济、军事、文化、科技等各个领域[4]。

在人类几千年的历史文明进程中，文字和可视媒体都起到了非常重要的作用，但毫无疑问的是文字始终是作为主导角色的，图片等则是作为补充角色。然而随着信息时代的到来，可视媒体的地位也产生了翻天覆地的变化，当前电影电视等视频媒介已成为比较大众化且具有重要影响力的媒体形式。人们的日常生活被这种可以广泛传播的可视媒体丰富着且改变着。但是，可视媒体的制作需要大量专业人员进行编辑处理，工作繁重而且技术难度较高，普通大众往往只能采用被动式的输入模式[5]。

这几年来，可视媒体正逐渐成为人们感知现实世界不可或缺的重要手段之一[5]。人们的生活方式也随着生物特征识别、非接触式姿态感知[6]、街景地图、卫星导航等诸多可视媒体技术的应用而发生了巨大的变化，与此同时也产生了可观的经济效益。科学技术在不断发展进步，同样的承载可视媒体的工具也渐渐变得多种多样，计算机、手机、数码相机、摄像机等等各种电子设备的普及，可以让人们方便的从周围获取各种各样的可视媒体[7]。同时，计算机图形学、人机交互与虚拟现实等技术的快速发展，可以实现各种可视媒体在计算机上被虚拟生成，另外，可视媒体的制作与处理工作由于计算机处理性能的不断提升以及硬件产品价格的低廉化，正逐渐从专业级的高价设备向普通计算机平台进行转移。此外，人们可以利用可视媒体技术，对某些可视媒体进行制作、分析、控制等处理，从而使得其产生的内容、表现形式等能够更加的受到注目，人们与各种媒体设备诸如手机、PC、PAD等的交互渠道因此而被拓展，并且还能够体验现实中无法体验的经历[8]。总而言之，随着互联网技术的飞速更新与发展，可视媒体技术的应用越来越广泛，影响也越来越深远。

1.1 可视媒体技术特点

可视媒体与虚拟现实有着密切的关系，因此可视媒体在某些特征方面与虚拟现实系统相一致[2]，具体如下：

实时性，对于用户的输入可以及时地做出反馈和响应，不会令画面有停滞现象的发生。实时性是可视媒体技术中非常重要的一个参考指标，因为如果图像或者场景产生跳跃现象的话会带给人一种十分不舒服的感觉，给用户的心理造成影响。

沉浸感，描述的是一种感知程度，是指用户作为主角对虚拟环境真实感的感受状态。理想的情况应该是使用户难辨真假。

交互性，是指用户对虚拟环境内的物体的可操作程度和从环境中得到反馈的自然程度。

想象力，是指用户在多维信息空间中，依靠自己的感知和认知能力全方位的获取知识，发挥主观能动性，寻求解答，形成新的概念。

沉浸感、交互性和想象力是虚拟现实技术中的三个重要因素。

当人们通过各种各样的手段和设备获取到可视媒体的数据之后，往往要对这些数据进行编辑与进一步处理的工作[9]。互联网为用户提供了极其丰富的可视媒体资源，但是也对这些可视媒体资源的编辑与处理产生提出了很高的要求。主要考虑两个方面的原因：一是可视媒体数据的获取要经过诸多步骤，比如采集、编码、压缩、传递等等，在实际的操作过程中，每个步骤都有难以避免的引入一定的噪声干扰，这会引起误差甚至导致错误，对这些可视媒体数据进行修正或增强等工作是十分有必要的，用以保证数据尽量真实有效可用；另一方面，可视媒体的使用总会带有一定的目的性，比如表达某种思想或传递某种信息，也就是说，为了目标的达成，通常人们会对可视媒体数据进行再加工创造等工作，例如对各种素材进行剪辑、编辑、合成等，使得用户想要表达的思想或信息更加自然流畅。

1.2 国内外研究现状

目前，针对可视媒体技术进行研究的大学及学术组织非常多，其中主要有：微软亚洲研究院、华盛顿大学（美国）、明尼苏达大学（美国）、卡内基梅隆大学（美国）、巴斯大学（英国）、中国科学院、清华大学、西安交通大学、上海交通大学、中国科学技术大学、中山大学、香港科技大学等等。

可视媒体有许多的关键技术，其中对于对象的提取是最基本也是非常重要的。首先对于图像中的对象的提取，2004年，Boykov等[11]人引入了动态搜索树，改进并加速了经典的Ford-Fulkerson算法，由此，基于图割的方法开始在图像分割领域得到广泛应用；香港科技大学的Li等[12]人提出一种 coarse-to-fine分步式的交互图像分割系统，可以在不同尺度条件下得到图像分割结果；2009年，中国科学技术大学的Liu等[13]人提出了Paint Selection系统，提高了图像分割中的用户体验；微软亚洲研究院的Cohen等[14]人提出了一种matting方法，将图像合成与抠图集成到了同一个优化过程中；2010年，巴西UFRGS信息研究院的Gastal等[15]人提出一种实时的自然图像抠图技术，设计了一种精巧的选择前景和背景共享采样方法，大大提高了计算速度。另外，对于视频对象提取，大体上有两类方法：一类是基于三维Graph-Cut算法， 2005年，微软亚洲研究院的Li等[16]人提出一种方法，首先对输入视频进行预分割处理，然后在分割结果上使用三维图割算法进行对象提取；2007年，美国杨百翰大学的Armstrong等[17]人提出一种瀑布（cascading）图割算法，对于三维数据块来说，它支持交互速率级别的分割与提取。另一类是基于关键帧的跟踪传播方法，2002年，美国华盛顿大学的Chuang等[18]人提出了用双向光流传播三元映射的视频对象提取算法；2004年，同样来自华盛顿大学的Agarwala[19]提出一种在视频中跟踪边界的方法；2005年，英国巴斯大学Coliomosse[20]提出了名为Stroke surfaces的系统；2009和2010年，明尼苏达大学的Bai等[21][22]人提出的Video SnapCut，这也是目前效果最好的方法。

随着可视媒体的发展，它在公安、国防、金融、保险、医疗卫生、计算机管理等领域均发挥了重要作用，已引起国内学术界的高度重视。当前，国内各个高校已经或将要设立关于可视媒体的实验室或研究中心，并建立自己的研究团队。下面介绍目前国内部分高校可视媒体实验室建设的相关情况。

1） 清华大学可视媒体研究中心

清华大学计算机系于2007年3月，成立可视媒体研究中心，开展可视媒体的智能处理的研究。目前中心承担了国家重大基础研究（973）计划项目“可视媒体智能处理的理论与方法”，以及多项国家自然科学基金和国家863高科技项目。研究中心成员包括：五名教授、三位副教授、四位博士以及两位助理研究员。

目前研究中心的最新成果包括：基于积分不变量和特征敏感度量的的几何处理、三维模型的拓扑修复、视频处理、半透明材质的编辑、三维数据的知识产权保护和虚假图像识别、基于反曲率映射的最优共形参数化、使用单形变换的骨架变形动画、实时全局光照明等等。

已完成的科研项目有：可视媒体智能处理的理论与方法，国家重大基础研究（973）计划项目；特征敏感的几何处理，国家自然科学基金项目；真实点云模型的几何形状表示及修复方法，国家自然科学基金项目；基于结构分析的视频处理，高等学校博士点基金项目；数字几何处理的理论框架与关键技术研究，国家自然科学基金重点项目；大规模动态场景目标行为过程实时建模与表现方法，国家863高科技项目（探索类）[23]。

2） 西安交通大学可视媒体计算实验室

可视媒体计算实验室（Visual Media Computing Lab）隶属于西安交通大学电信学院，主要研究图像、视频等各类可视媒体信息的计算理论、算法和应用技术。涉及的核心理论主要有信号处理、模式识别与机器学习等。实验室和英国卡迪夫大学、美国俄克拉荷马州立大学、微软西雅图研究院、清华大学、北京大学、中科院自动化所、北京航空航天大学、复旦大学、浙江大学等国内外本领域的高水平课题组有较密切的学术交流。

实验室现有教师3人，博士后1人，博士生3人，硕士生12人。

近几年，实验室共承担科研项目10余项，其中国家自然科学基金项目1项、国家科技支撑项目子课题1项、教育部重点项目1项、军口863计划子课题1项、西安市科技攻关计划重点项目1项、科技攻关计划项目1项、企业委托课题若干。申请国家发明专利2项目，在Pattern Recognition Letter、Science in China Series F： Information Sciences、Journal of Computer Science and Technology、软件学报、自动化学报等重要学术刊物及ICCV等重要学术会议上发表学术论文10余篇[24]。

2 山东可视媒体技术研究发展情况

2.1 拥有实力较强的研究队伍

近几十年来，山东省各个高校的教学科研工作迅速发展，最近几年，科研团队的数量和质量都有了显著的提高[25]。目前，在可视媒体技术方向，有数十名从事专项研究的教授、副教授。他们带领的团队，包括了博士生、硕士生等高层次研发人才。他们对于科研工作的开展一般是通过研究并发表学术论文、科研实验以及毕业设计等等来进行的。这支队伍的特点是：人员数量充足、知识层次较高，各个年龄段的人员相结合，既具有丰富的经验，也有很强的活力和创造力。

据不完全统计，到2010年底止，山东省在可视媒体技术方向，在购置科研仪器、设备方面的投入已经超过200万，在科研方面的经费投入已经超过500万，在相关生产、设备方面的投入已经超过5000万，已经形成了高校、企业共同建设的良好局面。

据了解，目前山东省可视媒体技术方向已完成成果十余项，成果水平也分别达到了国际先进、国内先进。

但是，目前山东省在可视媒体技术方向，也存在着实力分散，缺乏极其突出的企业和顶尖的研发团队的问题。与国际国内相关领域的领军团队相比还存在较大差距。

2.2 承担并完成了一批重要科研课题

2000年以来，在可视媒体技术方向，山东高校承担了国家和省部级科研课题十余项。有些课题对我国可视媒体技术的发展产生了深远的影响。有些科研项目尚在研究之中，有些已经如期结题，甚至已经开始推广转化，正逐步应用于现实生活之中。

目前，山东省承担的科技项目中，包括国家自然科学基金、山东省自然科学基金重点项目、山东省高新技术自主创新工程专项、山东省科学技术发展计划（科技攻关）项目、山东省优秀中青年科学家科研奖励基金计划（博士基金）项目等。

论文方面，山东省在可视媒体方向也做出了重要贡献。就分别从CNKI、万方、Engineering Village中搜索山东高校和企业完成的相关论文看，目前山东省在可视媒体技术方向已经发表大量高水平学术论文。

当然，目前山东省的相关研究也存在研究点分散、缺乏具有广泛影响力的重大研究课题的问题。在研究课题方面，山东省迄今共承担国家自然科学基金重点项目4项（孟祥旭/2009，张彩明/2010，尹义龙/2013，屠长河/2014），但尚未承担国家自然科学基金重大项目和973项目；论文方面，虽然数量和级别逐年提高，但是国际顶级的代表性著作数量仍然偏少；另外，在平台方面，只有挂靠在山东财经大学的山东省数字媒体重点实验室，还没有相关的教育部重点实验室、工程技术中心和国家重点实验室、工程技术中心或工程研究中心[25]。

2.3 为社会培养了大批高素质人才

2000年以来，可视媒体技术领域，在科研教育和实践的锤炼下，大批高校学生、研究生，特别是博士生、博士后等高素质人才不断被培养出来。这些人才里面有很多已经成为相关行业的核心力量和领军人物，有的甚至已经成为技术专家。不仅如此，山东各个高校、研究院等科研机构还注重利用自身条件，举办学习培训班、开展学术交流会议、举行相关行业技术培训等形式，为企业源源输送了一大批实用人才。事实证明，在可视媒体技术方向，山东高校已经成为培养高素质科技创新人才不可缺少的重要渠道。

3 山东可视媒体技术研究发展趋势

3.1 发挥高校优势，重点抓好高新技术的研究与开发工作

要想快速发展高新技术产业，并将之转换为经济效益，离不开高新技术的研究与开发，这是关键和基础，并能起到先导的作用[25] [26]。高等学校应发挥自身高新技术研究与开发实力强、基础条件好的优势，把科研工作的重点转移为经济建设和社会发展服务上来。

对高校现有的高新技术成果，要选择应用前景好的项目，在有关部门和企业的支持下，尽快安排大规模实验，以便在生产实际中推广应用，发挥应有的经济效益。另外，高等学校也要积极参与运用高新技术改造提升传统产业工作，促进我省产业结构升级、提高全省经济整体素质和竞争力。

随着可视媒体技术研究及产业化的推进，启动相关环节的规范工作，形成以共享为核心的制度框架非常必要。当前山东省可视媒体技术研究及产业化方面的科技资源共享意识十分淡薄。在这个方面，相关知识产权和技术的共享平台建设将成为推动山东可视媒体技术研究及产业化发展的重要工具。加强这些知识产权资源的整合与共享，首先要明晰高新科技资源的产权归属，确立公共科技资源共享的法律地位。当前国家这方面的尚缺乏相应的规定，可充分利用地方立法权进行探索。

3.2 大力推进大学科技园、工程技术研究中心、重点实验室和实验基地建设，加强高新技术成果孵化

大学的科技园、工程技术研究中心、重点实验室和实验基地，担负着高新技术研究、试验与开发、培养高素质创新和创业人才等重要任务，能够引导高新技术研究及产业化的发展，并起到示范作用，然后呈辐射状态向全社会推广，科技园区、研究中心、实验室和基地建设工作的全面开展对全省的经济建设有着不言而喻的重要战略意义和价值。中共中央国务院在《关于加强技术创新，发展高科技，实现产业化的决定》中强调：“支持发展高等学校科技园区，培养一批知识和智力密集、具有市场竞争优势的高新技术企业和企业集团，使产学研更加紧密的结合”[26]。

根据山东省可视媒体技术研究及产业化发展的需要选择部分条件适宜的高等学校、科研机构和大中型企业，建立一批省级重点实验室和中试基地，使其成为面向经济部分的开放式的高新技术转化基地，以提高科技成果的成熟化和配套化程度。同时根据实际需要，充分利用现有基础，适当建立一批面向可视媒体技术研究及发展的工程技术研究中心、高新技术创业中心和技术推广中心等，推进科技成果商品化、产业化的前期研究开发，向社会提供成熟的高新技术成果和工程设计、工艺流程、人员培训等服务。

3.3 依托高等学校，加快高素质创新人才的培养与引进工作

有资料显示，山东省的科技综合实力在全国仅位居第十六位，与经济实力的水平不相适应。高素质高层次的人才严重不足，这直接阻碍了山东省高新技术研究与产业化的进程。在可视媒体技术研究及发展方面，这种现象也普遍存在。

大力发展高新技术，实现产业化，创造可观的经济效益，加快高素质创新人才的培养是根本。根据山东省高新技术及产业化发展的需要，调整高等教育结构，深化教育改革，培养更多的富有创新精神的高科技人才。同时，采取多种形式大力引进人才，简化引进高层次专家、学术带头人和各种优秀中青年人才的手续，如两院院士、博导和有突出贡献的中青年专家等，制定来去自由的政策。鼓励和支持省内外高等院校、科研机构与企业建立博士后科研工作站。加强与中国工程院、中国科学院、清华大学、北京大学等单位全面合作，创建引进、培养人才的平台。

3.4 鼓励厂校建立企业，联合进行成果转化

随着社会主义市场经济的发展和科技体制改革的深入，科技成果转化的机制也不可避免的会有所改变，之前是以政府投资为主，现如今企业、高校和科研机构已逐步成为高新技术成果转化的主体，同时也将成为转化所需费用投入的主体[26]。通过以上材料分析可以看出，厂校共同投资，技术入股，建立密切的股份制企业，是高新技术成果转化较为成功的一种好方式。这种方式的优点为：一是资金可以在较短的时间内被筹集到； 二是具有完善的股份制企业的组织结构和监督机制，所有权与经营权分离，单个出资方对经营活动产生的影响较小；三是高新技术产业化过程中的风险可在较大范围内被化解。所以，鼓励和引导企业、高校精诚合作，开阔思路，不断寻求更加适应生产力发展的高新技术成果转化新方式是十分必要的。

在可视媒体技术研究及发展方面，采取股份制合作的方式，无论对产学研结合的高新技术研发道路还是对做大做强我省的相关企业都有着重要的推动作用。

3.5 提高执法力度，确保技术研究和产业化健康发展

国家和我省都陆续出台了“科技进步法”、“科技成果转化法”、《关于建立风险投资机制的若干意见》、《知识产权法》、《关于加强技术创新，发展高科技，实现产业化的决定》、《关于鼓励技术作为生产要素参与收益分配的若干规定》等法规和政策，这些法规和政策对高新技术研究、试验、技术创新、成果转化推广等工作都有了较为明确规定和要求，各级政府和有关部门，应加强执法情况的检查和监督，切实维护高校、科研机构、企业和相关科技人员的利益，保护他们的积极性，为推进我省高新技术研究及产业化进程做出积极的贡献[26]。

参考文献：

[1] 胡事民.可视媒体的智能处理[J].中国计算机学会通讯， 2009， 5（7）：6.

[2] 邢静. 基于图形的可视媒体构建[D]. 北京交通大学硕士学位论文， 2007.

[3] Philippe Aigrain， Hongjiang Zhang， Dragutin Petkovic. Content-Based Representation and Retrieval of Visual Media： A State-of-the-Art Review [J]. Multimedia Tools and Applications， 1996， 3（3）： 179-202.

[4] 丁濛. 可视媒体编辑与处理的若干问题研究[D]. 浙江大学博士学位论文， 2011.

[5] 张赟. 可视媒体交互式编辑与融合研究[D]. 浙江大学博士学位论文， 2013.

[6] Microsoft Corporation. Kinect for windows[EB/OL]. http：//www.microsoft.com/en-us/kinectforwindows/

[7] Boykov Y， Kolmogorov V. An experimental comparison of min-cut /max-flow algorithms for energy minimization in vision[J].IEEE Trans.Pattern Anal.Mach.Intell.2004， 26（9）：1124-1137.

[8] Li Y， Sun J， Tang C K， et al.Lazy snapping[J].ACM Trans.Graph， 2004， 23（3）： 303-308.

[9] Liu J， Sun J， Shum H Y. Paint selection[J].ACM Trans.Graph， 2009， 28（3）： 1-7.

[10]Wang J，Cohen M F.Simultaneous matting and compositing[C]. Proceedings of the 2007 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos， CA， USA： IEEE Computer Society， 2007： 1-8.

[11]Gastal E S L， Oliveira M M.Shared sampling for real-time alpha matting[J].Computer Graphics Forum， 2010， 29（2）： 575-584.

[12]Li Y， Sun J，Shum H Y. Video object cut and paste[J].ACM Trans.Graph， 2005， 24（3）： 595-600.

[13]Armstrong C J， Price B L， Barrett W A.Interactive segmentation of image volumes with live surface[J].Comput.Graph， 2007， 31（2）： 212-229.

[14]Chuang Y Y， Agarwala A， Curless B， et al.Video matting of complex scenes[J].ACM Trans.Graph， 2002， 21（3）： 243-248.

[15]Agarwala A， Hertzmann A， Salesind H， et al.Key frame-based tracking for rotoscoping and animation[J].ACM Trans.Graph， 2004， 23（3）： 584-591.

[16]Collomosse J P， Rowntree D， Hall P M. Stroke surfaces：Temporally coherent artistic animations from video[J]. IEEE Trans. on Visualization and Computer Graphics， 2005， 11（5）： 540-549.

[17]Bai X， Wang J， Simons D， et al.Video snapcut： robust video object cutout using localized classifiers[J].ACM Trans.Graph， 2009， 28（3）： 1-11.

[18]Bai X， Wang J， Sapiro G.Dynamic color flow： a motion-adaptive color model for object segmentation in video[C]. Proceedings of the 11Ith European conference on Computer vision： Part V. Heraklion， Crete，Greece：Springer-Verlag， 2010： 617-630.

[19]清华大学可视媒体研究中心[Z]. http：//cg.cs.tsinghua.edu.cn/vm/

[20]西安交通大学可视媒体计算实验室[Z]. http：//vmcl.xjtu.edu.cn/

[21]谢志峰. 可视媒体交互与合成技术研究[D]. 上海交通大学博士学位论文， 2012.

[22]赵语涛. 可视媒体中的流体运动分析与合成问题研究[D]. 上海交通大学博士学位论文， 2012.

[23]Amarnath Gupta， Simone Santini， and Ramesh Jain. In Search of Information in Visual Media. Communication of the ACM， 1997， 40（12）： 34-42.

[24]俞俊， 庄越挺. 计算机角色动画制作中的可视媒体融合综述[J]. 计算机辅助设计与图形学学报， 2008， 20（5）： 545-553.

[25]尹义龙. 山东生物特征识别技术研究及产业化现状与发展对策研究[R]. 山东省软科学项目报告， 2012.

[26]帅相志. 山东高校高新技术研究与产业化发展对策[J]. 国际技术经济研究， 2001， 4（4）：44-50.

（责任编辑：龙 蓉）

Research on Situation and Development Trend Forecast of Visual Media Technology of Shandong Province

ZHANG Guang

（Shandong Provincial Qianfoshan Hospital， Jinan 250014， China）

Abstract：Visual media technology has a very broad application prospects. It has caused a high degree of concern in the international academic community， the business community， government， and defense & military sector. The visual media technology research of Shandong Province are developing rapidly. For understanding， analysis and foresight the status of visual media technology research situation and development trend forecast in Shandong， our research summarize the current situation and propose steps forward. More importantly， this research of the visual media technology is similar to the high-tech transformation and industrialization.

Keywords：Visual media；Current situation；Development；Forecast