APP下载

电影产业云化与智能化升级的时代思考

2022-04-19

现代电影技术 2022年4期
关键词:云化智能化数字

刘 达

(中国电影科学技术研究所(中央宣传部电影技术质量检测所))

1 引言

近年来,在云计算、分布式计算、大数据、物联网、无线传感网 (WSN)、第五代移动通信(5G)、人工智能 (AI)、机器学习、深度学习等新一代信息通信技术 (ICT)和智能科学技术的有力驱动下,电影产业由传统视听产业加快向以云计算和人工智能等为关键支撑技术的高新技术产业转型升级。特别是,自2021 年10 月脸书 (Facebook)公司更名为Meta并提出致力于建立元宇宙 (Metaverse)以来,元宇宙 (Metaverse)成为ICT 及相关领域炙手可热的概念和热点,进军元宇宙成为全球互联网、电子游戏、人工智能 (AI)、虚拟现实(VR)、增强现实 (AR)、人机交互 (HCI)等领域诸多科技公司的发展战略。

电影作为文化产业发展龙头和现代视听技术的发展制高点,在文化与科技的融合创新领域实现重要突破,在文化强国和科技强国建设中发挥引领示范作用,是新时代电影产业高质量发展的必然要求和核心要义。因此,适应技术演进趋势、国家战略目标和产业发展需求,借鉴汲取元宇宙 (Metaverse)的先进思想、理念和关键技术,以电影产业的云化 (Cloudization)与智能化 (Intellectualization)升级为抓手,推动中国电影提质增效升级,是推进电影强国建设的题中应有之义。

2 新时代电影强国建设的科技内涵

进入新时代新征程,我国经济、社会、文化、科技等由高速增长逐渐转向高质量发展,在此背景下,中国电影积极推进电影大国向电影强国的历史性跨越。新时代电影强国建设的科技内涵极其丰富,相融相通,主要涵盖以下内容:

(1)电影银幕 (数字视音频解码放映显示系统)、数字摄影棚、数字影视制作基地、数字发行传输网络、云计算数据中心(Cloud Data Center)、人工智能(AI)系统设施等电影相关传统基础设施建设和新型基础设施建设引领世界。

(2)国产电影的拍摄制作水平、视效水准、视听品质、科技含量、国际传播力与影响力居世界领先,基于图像高分辨率(4K/8K)、高帧率(HFR)、高动态范围 (HDR)、广色域 (WCG)、沉浸式音频(Immersive Audio)等新兴视听技术的高新技术格式电影(High-Tech Format Film)的制作生产能力强劲,能够充分满足人民日益增长的高品质视听文化生活需要。

(3)电影科技自主创新能力和电影民族工业发展实现重要突破,在电影核心器件、关键芯片、基础模型、核心算法、原创技术研发、关键软硬件系统研制等领域无明显发展短板,基本实现电影科技自立自强,能够有效抵御西方世界严格苛刻的封锁管制。

(4)电影全产业链的信息化建设、云化(Cloudization)与智能化 (Intellectualization)升级水平居世界领先,多元化现代化工业化的电影拍摄制作发行放映技术体系和安全版权保护体系构建形成,电影线上线下业务融合并进和协调发展,电影产业韧性和鲁棒性(Robustness)强劲。

3 电影产业云化与智能化升级的时代思考

云化 (Cloudization)与智能化 (Intellectualization)升级是电影产业高质量可持续发展的大势所趋和必然要求,符合新时代电影强国的建设目标,必须顺势而为、科学推进。与此同时,电影产业的云化与智能化升级是一项庞大的系统工程,必须统筹设计和整体推进,需要研究制定科学、高效、精准的实施策略与实现路径,推动电影的智能化制作生产发行播映,推动电影多平台分发和多终端播映,推动电影工艺链创新优化升级,进而有力支撑和有效服务新时代电影强国建设。

3.1 适应大科学时代发展要求和借鉴元宇宙先进思想理念设计构建下一代数字电影系统

当前,全球已经进入大科学时代 (Age of Great Science),科学研究和技术应用的复杂性、系统性、协同性显著增强,产业行业交叉融合发展趋势日益明显。适应大科学时代发展要求,需要建构适应现代科技演进趋势、国家与行业战略需求的新型电影科技支撑体系,统筹科学研究和技术应用的战略性、系统性、专业性、协作性和融合性,推进融合并进和协同创新。迄今云计算 (Cloud Computing)已成为信息通信技术(ICT)产业技术创新和业务服务创新升级的基石,不仅贯穿整个ICT 技术链,而且衍生出诸多新兴技术模式,云计算数据中心成为支撑数字经济 (Digital Economy)发展升级的重要新型基础设施。对于电影产业,云化趋势日益明显,云化进程持续深化,未来有望加快步入全云(All-in-Cloud)时代。

关于元宇宙 (Metaverse),迄今尚无统一、明确、规范的定义。元宇宙(Metaverse)一词最先出现于1992年出版的美国科幻作品 《雪崩》一书中,其中提及与真实世界平行的虚拟世界,真实世界与虚拟世界的融合共存应该是元宇宙的基本设想。当前,从科技视角看,元宇宙(Metaverse)的核心思想理念是虚拟世界与真实世界的深度融合和智能交互,其应该是一个集成应用新兴视听技术、云计算、分布式计算、大数据、物联网、无线传感网、人工智能、机器学习、高速网络 (光纤固网/5G/6G/卫星通信网)、可信计算(Trusted Computing)、区块链(Block Chain)、虚拟现实/增强现实/混合现实/扩展现实(VR/AR/MR/XR)等诸多高新技术的巨型生态系统,创建和布局元宇宙必然是一项极其复杂和十分庞大的系统工程。自电影数字化演进以来,迄今数字电影已经全面取代胶片电影。数字电影本质上是信息通信技术 (ICT)和电影文化的融合体,不仅集中展现了虚拟世界与真实世界的融合、交互和呈现,而且伴随新一代信息通信技术和智能科学技术的发展演进也在不断提质升级。因此,元宇宙与数字电影在诸多方面具有相似性和互通性,元宇宙的先进思想理念非常值得下一代数字电影系统借鉴参考。

近年来,在电影摄制领域,拍摄制作技术手段持续创新升级,呈现多元化、现代化、智能化、融合化趋势,数字实拍、计算机视觉/计算机图形学/计算机生成图像 (CV/CG/CGI)制作、视觉特效(VFX)、虚拟摄制、虚拟角色、数字资产、虚实融合等技术融合并进,传统电影制作与沉浸式媒体制作统筹推进,电影云端制作与本地制作相辅相成、互为补充,基于云计算和人工智能等关键技术的电影分布式网络化远程跨域协同制作和智能化制作生产成为重要趋势。在电影播映领域,不同技术规格、安全等级和应用需求的多元化电影解码播放显示技术与软硬件系统统筹发展,专业影院、农村与社区流动影院、点播影院、VR/AR/MR/XR 沉浸式影院、家庭影院、移动影院等有效服务电影产业整体效能提升。综上所述,适应大科学时代发展要求,借鉴汲取元宇宙(Metaverse)的先进思想理念,立足电影科技自主创新,以高水平科技自立自强为发展目标,设计构建实现下一代数字电影系统 (技术特征如图1 所示),推动电影全产业链的信息化建设、云化与智能化升级,对于支撑电影强国建设具有重要的战略意义和现实意义。

图1 下一代数字电影系统技术特征

3.2 基于深度学习模型、算法和并行化系统设计策略实现电影的智能化制作生产

智能科学技术 (Intelligence Science&Technology)的发展与应用水平是体现一个国家在智慧时代的综合国力和核心竞争力的关键要素。人工智能(Artificial Intelligence)基于计算机模拟人类思维过程和智能行为以实现高层级应用,自1956年达特茅斯会议首次提出人工智能以来,源于对智能(Intelligence)的不同理解,人工智能发展形成了符号主义 (Symbolism)、联结主义 (Connectionism)、行为主义(Actionism)三大学派。根据学习和认知能力的强弱,人工智能分为弱人工智能和强人工智能。现有人工智能系统均为实现特定功能的专用智能,属于弱人工智能的范畴。强人工智能即达到人类水平、能够自适应外部环境挑战、具有自我意识的人工智能,又称通用人工智能或类人智能,是人工智能的发展演进方向,其目标是研制类人智能系统。从学习和认知能力上看,现有人工智能距离人类智能(Human Intelligence)还十分遥远,实现强人工智能任重道远。

机器学习 (Machine Learning)是人工智能的重要分支,研究计算系统如何利用经验来提升系统性能,其核心思想是从数据中自动提取知识,进而发现规律和把握趋势。相对于经典程序设计,机器学习属于一种新型编程范式。对于经典程序设计,系统输入为规则 (即程序)和数据,系统输出为求解;对于机器学习,系统输入为数据和从数据中预期得到的求解,系统输出为规则,这些规则后续可应用于新数据,并使机器实现自主求解 (图2 所示)。深度学习 (Deep Learning)是一种端到端的机器学习(End-to-End Machine Learning),不同于分而治之 (Divide&Conquer)学习模式,其通过多级人工神经网络级联来实现复杂函数逼近,突破了传统机器学习基于先验知识手工设计低层特征的模式,而是从数据中自动学习有效的特征表示。机器学习和深度学习的算法对比分析如图3所示,传统机器学习基于特征工程人工设计特征,特征向任务目标的映射通过学习算法直接从数据中学习;深度学习则无论简单特征、低层抽象特征、高层抽象特征、高层语义表征向任务目标的映射,均基于学习算法直接从数据中学习。近年来计算技术由纵向扩展(Scale-Up)向横向扩展 (Scale-Out)发展演进,高性能云计算数据中心、超算中心等迅猛发展,计算能力显著提升,与此同时,大规模训练数据集相继推出,使计算能力和数据规模能够有力支撑复杂深度神经网络(DNN)的模型训练,进而有效推动深度学习技术在诸多行业和领域实现落地应用。

图2 一种新型编程范式——机器学习

图3 机器学习和深度学习的算法对比分析

在深度学习领域,具有广阔发展与应用前景的生成对抗网络 (Generative Adversarial Networks,GAN)炙手可热,其基于零和博弈 (Zero-Sum Game)原理、纳什平衡 (Nash equilibrium)原理和红皇后假说(Red Queen Hypothesis)。零和博弈属于非合作博弈 (Non-cooperative Game),是指博弈双方在严格竞争下,一方的收益必然意味着另一方的损失,博弈双方的收益和损失的总和始终为零;纳什平衡又称非合作博弈均衡,在博弈过程中,每个博弈者都会选择某个支配性策略以达到自身期望收益的最大值,博弈双方的策略组合称为纳什平衡,在该平衡点,博弈中的任何一方将无法通过自身行为增加收益;红皇后假说是生物学领域的一种生物协同进化假说,即物种间为争夺有限资源,必须持续优化自身以对抗捕食者与竞争者,对于捕食者与竞争者,需要不断进化以获取资源,使物种之间保持一种复杂的相互作用、相互依存的协同进化关系和动态平衡状态。图像深度生成模型与生成对抗网络(GAN)如图4所示,生成器(Generator)和判别器 (Discriminator)是GAN 的核心组成部分,生成器生成虚假数据,使判别器D 尽可能评分1,判别器区分真实数据和虚假数据,对于真实数据尽可能评分1,对于虚假数据尽可能评分0,需要计算的纳什平衡点正是要寻找一个生成器和判别器,使各自的目标函数(Objective Function)最小化。

图4 图像深度生成模型与生成式对抗网络 (GAN)

在电影行业,基于新兴视听技术的高新技术格式电影 (High-Tech Format Film)发展极其迅猛,并驱动电影的智能化制作生产需求持续增强。电影视听品质是图像分辨率、采样格式、量化深度、帧速率、动态范围、色域、声音等诸多技术要素综合应用和有机融合的结果,不仅依赖于数字成像器件(CCD/CMOS 图像传感器)和数字显示器件(DMD/SXRD/LED)的技术性能,而且需要统筹考虑数字摄影系统、数字后期制作系统、数字母版制作系统、数字放映系统在技术规格上的兼容性与一致性。因此,相对于常规技术格式电影,高新技术格式电影对摄制流程、视效制作、后期合成、颜色管理、模型渲染、数据处理、计算存储、网络传输、监看环境等均提出了更高要求。基于深度学习模型和算法,例如深度卷积神经网络 (DCNN)、变分自编码器 (VAE)、生成对抗网络 (GAN)等基础模型及其衍生模型,同时采用并行化系统设计策略,涵盖模型、算法、数据、程序、硬件系统等并行化设计,可有效服务电影的智能化制作生产并实现行业落地应用。

基于深度学习生成对抗网络 (GAN)衍生模型,数字电影可采用图像超分辨率 (SR)重建技术和并行化系统设计策略实现2K (2048×1080)→4K(4096×2160)→8K (8192×4320)、标准帧率(SFR)→高帧率 (HFR)、标准动态范围 (SDR)→高动态范围 (HDR)、常规色域 (CCG)→广色域(WCG)等升级转换,以实现图像分辨率、帧速率、量化深度、动态范围、色域等提升和扩展,从而可基于常规技术格式电影生成高新技术格式电影,进而有效丰富高新技术格式电影片源 (图5所示)。在电影后期制作环节,深度学习生成对抗网络(GAN)衍生模型可用于电影的智能化剪辑与智能化调色,并结合剪辑师与调色师的人工剪辑和人工调色工作,实现“智能化粗剪+人工精剪”和 “智能化粗调+人工精调”,还可用于服务电影视效制作、数字角色智能生成和影视图像风格智能化迁移,以及对传统专业影视渲染引擎和商业级图形渲染器实施定制优化。

图5 基于深度学习技术及并行化设计策略制作生产高新技术格式电影

3.3 基于云计算和智能科学技术设计构建云化智慧融媒体影院

近年来,在人工智能、机器学习、深度学习、认知计算 (Cognitive Computing)、脑科学等智能科学技术的有力驱动下,人类社会由信息时代(Age of Information)加速向智慧时代 (Age of Wisdom)演进升级。相对于信息时代,智慧时代具有更强算力、更优算法、更高效的数据分析处理、更自然友好的人机交互、以数据为中心的体系架构、类似人类大脑的自主学习等技术特征。中国科学院梅宏院士在《企业软件化》推荐序言 《步入软件定义的时代》中提出 “在某种意义上,信息技术及其深度应用已经推动人类社会步入到一个新发展阶段,并可以从不同的视角去考察和认知。从计算模式视角,可视为是以支持计算、存储、网络、数据、应用等资源的集约式管理和服务化使用为特征的云计算时代;从信息应用视角,可视为是以人工智能技术为基础,支持感知、认知到决策为特征的智能化时代”,这对于理解和把握智慧时代的核心要义具有重要指导意义。

影院是现代电影产业的多媒体终端,其遵循高品质、专业化、差异化、可持续的发展建设准则,不仅要持续提高视听质量、沉浸感和临场感,而且要有效提升运营质量、服务水平和管理效率。在媒体融合、云化和智能化进程持续深化的背景下,云化智慧融媒体影院 (Cloudizating I ntelligent Convergence Media Cinema)成为现代影院的发展演进趋势,其通过将电影、电视、广告、预告片、数字增值内容、云计算、互联网、移动终端等多种媒体内容与服务模式进行有机整合和集成应用,实现资源共享、相融相通、价值集聚和智能分发播映,使影院的内涵、价值、效能等实现整体提升,符合融媒体时代特征和电影产业高质量发展需求。

云化智慧融媒体影院的系统架构如图6 所示,主要由智慧融媒体影院业务系统、智慧融媒体影院运营支撑系统、智慧融媒体影院外部接入网络三大部分组成。智慧融媒体影院业务系统基于智慧融媒体影院数字电影播映系统,涵盖融媒体智能分析模块、数据预处理模块、集成媒体模块/图像媒体模块(IMB)、LED 电影显示屏、数字电影放映机、高品质银幕和沉浸式音频系统等,节目来源覆盖电影节目源(DCP)、电影密钥 (KDM)、电影广告、电影预告片、电视传输流 (TS)、云终端/云桌面、智能移动终端、影院增值内容直播转播等多元化内容;智慧融媒体影院运营支撑系统涵盖影院管理系统(TMS)、网络运营中心 (NOC)、中央存储系统(SAN/NAS/云存储)、卫星接收设施 (SAT)、计算机票务系统 (POS)、云计算数据中心 (CDC)、人工智能(AI)系统设施、5G/6G 移动通信网络切片等子系统;智慧融媒体影院外部接入网络包括高速互联网、移动通信网、光纤通信网、卫星通信网、物联网/无线传感网、量子通信网等不同类型的宽带信息通信网络。总之,发展建设云化智慧融媒体影院,离不开云计算数据中心 (Cloud Data Center)和人工智能(AI)系统设施的有力支撑。基于云计算和智能科学技术设计构建云化智慧融媒体影院,已成为新时代影院高质量可持续发展的必然要求。

图6 云化智慧融媒体影院系统架构

4 结束语

中国电影已经步入全面建设社会主义现代化国家新征程、向第二个百年奋斗目标进军的新发展阶段,在新时代新征程,推进电影全产业链的云化与智能化升级,推动电影产业由传统视听产业向以云计算和人工智能等为关键支撑技术的高新技术产业转型升级,是推进电影强国建设的重大时代课题。电影发展至今的一百二十余年,其核心关键要素始终是质量(Quality)、安全 (Security)、版权(Copyright)和效益(Benefit),电影产业的云化与智能化升级必须紧密围绕上述四大核心关键要素,统筹视听质量、内容安全、版权保护和综合效益。

当前及未来,制约中国由电影大国向电影强国实现跨越的技术短板主要在于:一是兼具高视听品质、高科技含量的国产精品电影数量有限,中国电影的工业化摄制发行播映体系建设与中国的综合国力和大国地位不相称;二是电影科技自主创新能力与电影强国建设要求尚存较大差距,中国电影在核心器件与芯片、基础模型与算法、后期与特效制作工具、原创关键技术研发与核心软硬件系统研制等领域亟待实现自立自强。综上所述,我们要在遵循科技规律、深化自主创新的基础上,加快补足补齐技术短板,不断探索优化新时代中国特色电影科技发展道路。我们要以新时代电影强国建设的科技内涵为目标,以电影产业的云化与智能化升级为抓手,坚持电影科技自主创新和推进高水平自立自强,加快构建完善工业化、现代化、多元化的电影摄制发行播映技术体系和安全版权保护体系,持续提升电影视听品质和产业综合效益,为建设实现电影强国提供强大的科技力量和智慧。

猜你喜欢

云化智能化数字
智能化战争多维透视
智能化仪器仪表的翻转课堂设计
基于Moodle平台的语文阅读教学“智能化模式”初探
基于Moodle平台的语文阅读教学“智能化模式”初探
答数字
IBM中国企业云化实践中心成立
社区教育平台运营策略研究
数字看G20
成双成对
数字变变变