APP下载

摄像机曝光技术专利分析

2020-11-18杨少魁张媛媛曹海军

河南科技 2020年24期
关键词:专利分析摄像机

杨少魁 张媛媛 曹海军

摘要:曝光是摄像机拍摄中的一种基本处理和重要功能,用于获得亮度合适的图像,曝光控制技术也是摄像機领域中的一项关键技术和重要研究方向。本文统计并分析了摄像机曝光技术方面国内和国际上的专利申请情况,并介绍了摄像机曝光领域中的各个技术分支及其代表性专利,阐述了该领域现有技术的发展情况。最后总结了摄像机曝光技术方面我国和国外专利的不同特点,希望能为我国相关企业和科研单位提供技术研发和专利布局方面的思路。本文也可以为摄像机曝光领域的专利审查提供现有技术情况。

关键词:摄像机;曝光;技术分支;专利分析

中图分类号:TN948.41;G306 文献标识码:A 文章编号:1003-5168(2020)24-0156-05

1 引言

摄像机成像的作用是模拟和代替人类视觉系统,以获得视觉信息;摄像机曝光是控制拍摄图像亮度的处理,是成像过程中的一个基本处理,只有经过合适的曝光才能获得亮度合适的图像,不至于过暗或过亮。专业的相机中可以通过拍摄者的设置来进行曝光参数的控制,而一般的成像模组中会集成自动曝光处理功能,使得采集到的图像有合适的亮度[1]。

专利作为技术信息的重要载体,其中也必然反映了摄像机曝光技术的整个发展脉络,覆盖了其中的各个技术分支。因此,本文针对摄像机曝光技术方面的专利进行分析,既可以梳理出该技术的发展路线以供本领域的技术人员参考,对相关企业和科研院所在技术研发和专利布局方面提供帮助,也可以使本领域的专利审查人员了解现有技术状况,有助于检索和审查工作。

2 摄像机曝光技术专利统计分析

本文以中国专利文献检索摘要数据(CNABS)和德温特世界专利索引数据库(DWPI)为检索基础数据库,使用摄像机控制领域的IPC和CPC分类号H04N5/235及其下位点组,并结合关键词“曝光”来检索获得摄像机曝光技术领域的专利文献,检索日期截至2019年12月31日。本文将从年度专利申请数量、专利申请国家或地区分布、主要申请人方面进行统计分析。

2.1 摄像机曝光技术专利申请总体情况

在专利申请数量方面,从图1可以看出,在2000年至2018年期间,摄像机曝光技术方面的专利申请量在世界上基本呈现稳步增长的态势,在我国也是如此;因为曝光本身是摄像机的一个基本处理和重要的功能,需要不断地进行研究和创新,以提高摄像机的性能。另外,从图1中还可以看出,在2000年等早期年份,关于摄像机曝光的专利在中国的申请只占世界上非常少的一部分,但随着时间的推移,中国专利申请量在全世界的占比快速增长,到2015年至2018年都超过了50%,并且占比持续上升,这也说明了随着中国经济的快速发展和知识产权体系的不断完善,包括国外在内的越来越多的申请人都在中国进行这方面的专利布局。

2.2 摄像机曝光技术专利申请区域分布

在专利申请的国家或地区分布方面,从图2可以看出,日本在摄像机曝光领域中的专利申请数量遥遥领先,占到了全世界的40%,其次是美国和中国,欧洲和韩国在该领域中的专利数量较少。因为在摄像机产业,日本的生产厂商在世界中独占鳌头,因而在摄像机曝光领域中技术也领先于其他国家和地区。

2.3 摄像机曝光技术专利主要申请人分析

在国外主要申请人方面,从图3中可以看出,佳能、富士、奥林巴斯、索尼、尼康是申请数量排名前几位的申请人,这些均是世界上生产摄像机的最大厂商,都是日本的企业,也反映了日本在摄像机产业中的地位。另外,韩国三星也在摄像机曝光领域中申请了较多的专利数量。

在国内主要申请人方面,从图4中可以看出,欧珀、努比亚、维沃、华为、中星微电子在摄像机曝光领域中申请的专利数量排名前五;欧珀、努比亚和维沃等本身是制造手机等电子终端的企业,并不是专门的摄像机厂商,但因为摄像头和拍摄已经成为手机等终端的重要部件和功能,因而上述企业也申请了大量专利。

通过对比图3和图4可以看出,在摄像机曝光技术方面中国企业的专利数量仍然少于日本等世界领先企业的专利数量,这也反映了中国在这方面技术积累的薄弱,但是以摄像机在终端方面的应用为突破口,也可以不断发展自己的技术,这也给我国企业在摄像机技术方面的研发路线和努力方向给出了启示。

3 摄像机曝光领域专利技术发展分析

对于摄像机曝光而言,其获得的图像的亮度由四个方面的因素决定:环境光亮度、相机的光圈大小、曝光时间(也称为快门速度)、信号增益。这四个因素中,环境光亮度是由外界环境光照决定的,但是也并非不能人为控制,例如拍摄时使用闪光灯来提升光照亮度;而其余的三个因素则可以通过控制摄像机来调节,因而光圈大小、曝光时间和信号增益是一般的控制曝光所使用的参数[1]。在摄像机曝光技术中,一般包括采用拍摄时补光、曝光时间(快门)控制、图像信号增益控制、光圈控制、包围式曝光等几个方面,其中包围式曝光用于获得高动态范围图像。

3.1 拍摄补光技术

补光技术是实质是采用照明手段影响景物亮度,一般是指在环境光亮度较低的条件下,例如夜晚,采用闪光灯等形式进行补光,以获得比较理想的光照条件,进而得到亮度合适的图像。对于照明补偿技术,其中很重要的一个思路是根据当前环境光亮度值来确定需要补光的亮度,这样才能获得合适的拍摄照明亮度,例如日本的三洋电机株式会社在其申请的专利JPH1031250A中提供了一种数字照相机,包括闪光灯和CCD成像器,首先在闪光灯不发光条件下曝光CCD成像器,生成一个亮度信号以计算亮度评估值;随后,使闪光灯在发出预闪光条件下曝光CCD成像器,根据获得的亮度信号再次评估亮度值;然后,根据由这两种方式获得的两个亮度评估值,计算闪光灯的主闪光量。

另外,控制闪光灯的闪光时间也是很重要的一个方面,因为一般的成像传感器从工作时序上来说分为电荷收集与积累、电荷转移、电荷信号读出这几个阶段,在线曝光或卷动式快门的信号电荷读出方式中,在拍摄图像的同时使用闪光灯时,可能发生图像灰度在顶部和底部不同的现象。对此,日本索尼株式会社申请的专利JP2010093729A中公开了一种成像设备,设定闪光灯控制信号的输出定时,以使从闪光灯发光的开闭时间段被包含于从信号电荷读出完成到随后的第二读出命令信号输入为止的时间段内;根据闪光灯发光命令的输入和输出定时,向闪光灯提供控制信号并且以预定间隔来提供读出控制信号。

采用闪光灯补光的方式一般都是在拍摄瞬间发出较强的光来进行照明,这种方式在拍摄人像时可能会导致问题,因为在光线较暗的环境下拍摄的时候,突然的闪光会让人眼很不适应,会不自觉的闭眼,无法拍摄到理想的人像。针对这一问题,国内企业广东欧珀移动通信有限公司提出的专利申请CN104243842A公开了一种闪光灯强度控制方法,在闪光灯拍摄模式下进行拍照时,如果检测到人脸,则获取人脸在拍摄图像中的区域,在该区域大于预设区域时,根据该区域设置闪光灯的电流值,使得当该区域大于预设区域时,闪光灯的电流强度随着该区域的变大而变小。由于当人脸与摄像设备的距离越近时,人脸在拍摄图像中的区域越大,这样使得闪光强度越小,因此该专利能够实现基于人脸与摄像设备的距离的闪光灯强度的动态调整,从而减小闪光灯对眼睛的冲击,减少拍摄时眨眼的概率,提高人像拍摄质量。

3.2 曝光时间控制技术

曝光时间是决定图像亮度的一个重要参数,图像传感器完成光电转换的过程在一定时间间隔内光电流通过积累成为电荷,这个积分时间长度就是曝光时间;曝光时间增加,图像亮度增加,反之曝光时间减少,图像亮度也减小[2]。曝光时间也称为快门时间或快门速度,因为曝光时间的多少是由快门机构来决定的。

在模拟相机的初期采用的是机械式快门,随着CCD等数字相机技术的发展,出现了电子快门,即通过控制每个像元电荷累积时间的方式实现曝光时间控制。例如,日本佳能公司申请的专利JP2005159418A,在背景技术中提到:在传统摄像机中,通过机械快门的开闭进行曝光;然而,高速秒时由机械条件的界限所制约,无法进一步提高曝光时间控制的精度;因而提出了一种电子快门的方法,在多个位置检测前幕帘以及后幕帘的通过,在检测出前幕帘的通过后经过预定时间后,在检测出后幕帘的通过之前,顺序进行像素的复位,能够实现没有机械制约的高速秒时的曝光时间控制。

对于光照度比较均匀的场景,一般的曝光控制算法都可以获得高质量的图像,根据当前光照度按照一定的算法即可以计算出合适的曝光时间;但是对于场景中同时存在暗和亮的部分,例如在图像中既有阳光直射的区域,同时也存在光照被遮挡的阴影区域时,简单的曝光控制算法则无从计算合适的曝光时间。对此,美国的全视技术公司提出了具有双重自动曝光控制的图像传感器,在其申请的专利CN1518120A中公开了一种图像传感器,其像素阵列包括多个亮像素和多个暗像素;暗曝光控制电路控制多个暗像素的曝光时间,亮曝光控制电路控制多个亮像素的曝光时间。该专利中提出的技术方案可以解决自动曝光控制算法混淆亮和暗部分的组合的图像,导致成像困难的问题。

在拍摄场景中经常会存在闪烁的光源,如以一定频率闪烁的LED灯光;还存在闪烁的拍摄目标,如计算机屏幕等,因为屏幕是以一定的频率(60Hz)刷新的;由于闪烁的频率较高、时间较短,与摄像机的曝光时间为同一个量级,这往往会导致拍摄图像中存在纹理,导致拍摄图像很差,这一问题也需要通过适当地控制曝光时间来解决。例如国内的欧珀公司在其申请的专利CN109120863A中,提供了一种拍摄方案,当监测到拍摄预览画面中存在闪烁光源时,实时测算闪烁光源的闪烁频率,并根据闪烁频率计算生成目标曝光时间,然后基于该目标曝光时间进行图像拍摄;通过采用上述技术方案,可以根据闪烁光源的闪烁频率合理确定目标曝光时间,并基于目标曝光时间对包含该闪烁光源的拍摄主体进行拍摄,不仅有效解决了由于闪烁光源造成的拍摄画面的亮度、颜色失真的问题,还可以避免由于闪烁光源造成的拍摄画面中的空间纹理,能够有效提高拍摄图像的质量。

3.3 增益控制

增益控制是摄像机系统对图像亮度的电信号施加的增益进行控制,以获得亮度合适的图像。此处的增益也被称为感光度(ISO值);通过图像传感器转换后的模拟点信号,在转换为数字信号之前,将会通过一个称为自动增益控制(AGC)模块,该模块将输入信号放大,从而使输出信号强度满足最终图像亮度的要求;尤其是在入射光能量较小,光圈和曝光时间的设置无法满足要求时,调节信号增益是一种有效的手段[1]。但是增益控制也存在负面影响,在信号被放大的同时,其中的噪声也被放大了,因而如何即采用增益控制增加图像亮度,而又不至于噪声过大,这也是一个研究的方向。

中国电子科技集团公司申请的专利CN104754240A中,提出一种CMOS图像传感器自动曝光方法,在获取当前拍摄的图像后,计算图像的当前曝光量和目标亮度阈值,计算当前曝光量到目标亮度阈值之间需要调整的传感器曝光量,并将其划分为2n+1个曝光量分段;依据每个分段的曝光量及该分段的奇偶性采用曝光时间和模拟增益交替调整的方式调整曝光量直至曝光量达到目标亮度阈值;如曝光时间和模拟增益均调整到最大值,曝光量仍未达到目标亮度阈值,则调整数字增益。本发明的效果在于整合了快门优先自动曝光模式和增益优先自动曝光模式的优点,同时兼顾运动物体拍摄与低噪声的要求,有效的提高了拍摄质量。

欧珀公司申请的专利CN104660915A中,公开了一种全景拍照曝光的控制方法及裝置,其中在启动全景拍照后,根据移动终端当前移动的实际角速度、预设角速度和移动终端在以所述预设角速度移动时保证画面不模糊的曝光时间,调整预置的曝光时间和增益;根据调整后的曝光时间和增益控制曝光。本专利根据移动终端移动时的实际角速度对曝光时间和增益进行调整,实际角速度越大,调整后的曝光时间越小,调整后的增益越大,保证画面的清晰度,实际角速度越小,调整后的曝光时间越大,调整后的增益越小,图像噪声就会越少,从而可以解决画面模糊的问题且可以减少噪点。

3.4 光圈控制

光圈大小也是控制曝光的一个重要参数。光圈大小指的是相机的镜头中光能够进入的孔径的大小,当光圈孔径增大时,到达传感器的光通量也随之增大,图像亮度提高。光圈控制曝光的基本原理就是通过调节光圈大小以得到亮度合适的图像[2]。

在通过光圈控制曝光方面,日本的索尼公司在申请的专利JPH09284784A中指出,传统的彩色相机是检测包括目标和背景在内的整个场景内的亮度来自动控制光圈大小,如果目标所在的区域和背景区域的亮度差别较大,背景亮度会妨碍针对目标对象获得准确的光圈值。针对这一问题,该专利中公开的图像拾取装置能够执行对目标对象的准确自动光圈控制。

我国的浙江大华技术股份有限公司也在申请的专利CN101719988A中公开了一种智能化特征区域控制自动光圈的方法,包括获取图像Y/C的分量数据、智能提取监控对象区域、特征区域亮度值提取、特征区域亮度值与预设亮度值比较、自动光圈控制等步骤,实现根据特征区域的亮度情况控制自动光圈的孔径,且能智能化获取监控对象特征区域,并具备自适应能力,保证图像中的监控对象的可视亮度。

照相机等摄像装置中在驱动光圈时,还同时调节电子快门速度和ISO感光度,由此维持适当曝光量;但是,由于电子快门速度或ISO感光度是电气控制,几乎不会产生时间延迟;而由于光圈是机械驱动,会产生延迟;因此,在到达希望设定的曝光之前产生时间差,这会导致在图像中产生闪烁,降低图像质量。对此,日本奥林巴斯株式会社子在申请的专利JP2016184874A中提供了即使改变光圈值也不会在图像中产生闪烁的摄像方法,其中设定摄像元件的电子快门速度,在改变光圈的开口和电子快门速度来进行曝光量的调节时,使得光圈的开口的变化速度与对应的曝光量变化速度一致,以避免电子快门速度和光圈调整速度的不同步。

大华公司在专利CN110139042A中提供了一种光圈调整方法:根据预定参数确定光圈调整步长,其中的预定参数包括亮度、曝光、焦段;根据光圈调整步长进行调整。由于综合考虑了亮度、曝光和焦段参数,使得光圈调整步长能够根据当前的实际使用情况来确定,克服了现有技术中光圈的调整往往采用单一维度信息作为依据,导致调整不准确的问题。

3.5 包围式曝光

包围式曝光的一个重要作用是提高图像的动态范围,图像的动态范围指的是图像中亮度的变化跨度,一般取决于其中的最大亮度和最小亮度。在动态范围(即亮度变化范围)方面,人类视觉系统能够感知到的现实场景的动态范围至少会达到104:1,但是常用的摄像机在捕获图像时的动态范围通常仅为1000:1[3],因而如何增加图像的动态范围,使之不断趋近于人眼视觉系统的程度,这也是曝光技术中一个不断发展的方面。

包围式曝光也是一种有悠久传统的拍摄技术,在传统胶片摄影时代,为了保证拍摄曝光的精确度,避免曝光失误,摄影师经常会在测光的基础上确定一个曝光数据,然后以这个曝光数据为基准,分别增加和减少一定的曝光量进行拍摄[4]。包围式曝光的基本原理是利用单次曝光算法获得一幅基准图像,例如该图像的曝光量为E,再通过改变曝光时间分别获取曝光量为E/2和2E的两张图像,这三张不同曝光量的图像可以更好地覆盖了整个场景的动态范围,然后可以将这三张图像通过一定的融合算法得到最终图像,可以具有更高的动态范围。

例如,美国的幻影自动化机械公司在其申请的专利US2002176010A1中,提供一种将不同曝光时拍摄的同一场景的多幅图像进行组合,增大图像传感器有效动态范围的系统和方法。日本的富士胶片株式会社在其申请的专利JP2009268066A中,以不同的摄像条件连续性地获取多个摄像图像,然后对其进行合成,生成输出图像;其中的摄像部件可以通过以时间长度不同的曝光时间进行曝光,连续性地拍摄多个摄像图像;也可以通过以不同的光圈开度曝光而连续性地拍摄多个摄像图像。

由于包围式曝光是合成在不同曝光条件下采集的图像,可能会导致图像不连续的问题,例如过曝高亮区域、半色调区域以及阴影细节丢失区域的图像不连续;对此,佳能株式会社在其申请的专利JP2012217102A中,提出了能够在避免图像不连续的同时,生成通过最广的色调范围再现变化区域的被摄体的高动态范围图像的方法。

一般的高动态范围拍摄模式中,通常需要拍摄多张同一场景不同曝光程度的照片,在通过软件合成时,将中等亮度照片中相对曝光不足的部分图像用较亮照片中对应的部分图像代替,而相对曝光过度的部分图像用较暗照片中对应的部分图像代替,最终合成HDR图像,这种方案需要拍摄多张不同亮度照片,处理速度较慢。针对此问题,欧珀公司申请的专利CN105578068A中提供了一种高动态范围图像的生成方法,相比于现有技术中计算亮度平均值来说,该专利中使用的算法计算出来的图像整体亮度值更高,依此确定的曝光参数可保证在控制摄像头捕捉图像时,亮区不会出现曝光过度的情况;通过以上曝光参数捕捉的图像作为待处理图像,提升其中亮度值低于第二亮度阈值的区域的亮度,并生成HDR图像,可有效提高动态范围,且该方案不需要拍摄多张照片来合成HDR图像,可提升处理速度,实现快速拍照。

4 结语

本文通过对摄像机曝光技术方面的专利进行统计分析,并阐述了该领域中的技术分支以及典型专利。分析这些专利中技术方案可知,他们更注重于核心技术的基础研究,并且在其专利体系中,往往是针对某一技术方案中的某一细节的问题做出改进,多数是基于以往的专利技术中存在的缺陷,进行进一步的改进和研发,以此不断推进自己的技术体系和专利体系的发展。相比之下,我国在摄像机产品方面还没有形成自己的优势企业,技术起步较晚;在纯粹的基础技术研究方面仍然比较落后,尤其是针对图像传感器芯片级,或者摄像机信号处理芯片级的技术方面有较大差距;但华为等技术实力雄厚的企业已经在摄像机以及曝光控制方面提出了一些芯片级层面的专利技术。随着我国经济的快速发展和科研创新能力的不断增强,以欧珀、维沃、努比亚等为代表的终端厂商也纷纷针对其产品申请了一定数量的专利;通过对比可以看出,国内企业的专利技术主要以终端应用为载体,例如集成于手机等终端的摄像模组的功能改进;针对人像摄影等特定应用场合,或者更侧重于用户体验方面進行改进。这也启示我国相关企业可以以这些方面为突破口,结合摄像机在各应用领域的不同形态和用户体验方面研究创新,以此为契机带动自己技术和产品创新。

同时,对于摄像机领域的专利审查工作而言,通过本文也可以简要地了解在摄像机曝光技术方面的现有技术情况,同时也可以帮助审查员快速准确地理解专利申请的技术方案,有针对性在相应的技术分支下进行检索,并准确地进行创造性评判,提高检索和审查效能。

参考文献:

[1] 孟梦.高清摄像机自动白平衡和自动曝光算法研究实现[D].西安:西安电子科技大学,2014.

[2] 梁佳毅.高性能数码相机自动曝光算法研究与实现[D].上海:复旦大学,2008.

[3] 赵金波.基于多曝光的高动态范围成像技术研究[D].西安:西安邮电大学,2018.

[4] 华威.数码时代的包围曝光[J].中国摄影家,2010:112-113.

猜你喜欢

专利分析摄像机
用迷你摄像机代替眼球
基于专利计量的广东高水平大学科研竞争力评价研究
国际云制造关键技术专利分析及启示
专利分析在产业创新中的利用
稀土发光材料专利分析综述
影像创新:新型摄像机和成像器
高清新阵营
看透佳能心FS11摄像机构造揭秘