徐仁东

（富智康(南京）通讯有限公司,江苏南京，210000）

0 引言

手机双摄头指的不是前置后置双摄像头，双摄手机是指一个智能手机背面或者正面上有两个并排（横排或者竖排）的摄像头。当前手机双摄通过不同的组合可以实现背景虚化功能，提升夜景模式拍摄图片的质量，实现光学变焦［1］，以及三维重建等应用。

1 常见的几种双摄搭配

■1.1 彩色摄像头（RGB）+彩色摄像头（RGB）

主要用于计算景深，实现背景虚化和重对焦。单反相机让人为之着迷的一点便是通过调整不同光圈值，拍出如梦似换的背景虚化效果。我们知道，单反相机通过增大镜头光圈可以缩小拍照时的合焦范围。

■1.2 彩色相机(RGB) + 黑白相机(Mono)

提高夜景模式拍摄图片的质量主要有三种办法：曝光时间延长、感光度ISO提高、光圈F增大。曝光的时间延长会带来抖动的问题，于是手机厂商与camera模组厂设计了光学防抖；感光度ISO提高，同时也会带了更多的噪点，影响了画面清晰度，手机体积很小，厚度很小的限制下，也不能把传感器尺寸继续加大；手机光圈是固定值，在设计阶段已经确定，无法调整。厂商的算法工程师们，进行创新，想要借助黑白世界的强大力量。

■1.3 广角镜头（Wide）+长焦镜头（Tele）

主要用于实现光学变焦。在拍照时手机图像处理器会通过广角和长焦镜头组合搭配和融合算法来实现平滑的变焦，长焦镜头拥有高像素的特点弥补广角镜头因变焦或畸变而损失的部分细节图像信息，实现了优于单摄像头很多的图像变焦效果和图片成像质量。

■1.4 彩色相机（RGB）+深度相机（Depth）

主要用于三维重建当中深度摄像头使用的最多是TOF相机。TOF通过给对应场景中的目标发送光脉冲，然后反射回来，通过探测光脉冲的往返时间来计算物体距离获得具体物体的深度信息。

2 手机双摄的关键技术

■2.1 背景虚化

单反相机吸引了很多摄影爱好者，其中让人为之着迷的一点便是通过调整不同数值的光圈值，拍出梦境般的背景虚化效果。正如我们知道，单反相机通过机械的增大镜头光圈可以缩小拍照时的合焦范围。光圈实际上是一直打开的，当你按下快门时，光圈的大小会自动收缩至你在相机上设定的数值大小。我们在拍照时经常听到说开大光圈和小光圈。我们以应用在35mm相机的50mm焦距人像镜头为例，最大光圈可以做到F1.4，此时相机的进光量最大，最小光圈为F22，此时相机的进光量最小。大光圈代表着光圈的f值最小，小光圈的f值最大，光圈的大小调节和设置的f值的大小是相反的，大光圈是小数值，小光圈是大数值。我们在单反相机或者手机上调节时，将相机模式设置成手动模式。图1是人像进光量与光圈F示意图。光圈越大，背景越模糊，光圈越小，背景越清晰。

图1 人像进光量与光圈F示意图

为了模拟这种虚化效果，双摄手机利用人眼三角定位原理来计算被摄物体距离摄像头的距离Z。如图2所示。

图2 人眼三角定位原理示意图

得到需要拍照场景中每一个像素点距离相机感光sensor的远近后，通过虚化算法保留对焦平面内人像或景物的清晰度，将其余部分根据其相对于手机摄像头远近距离进行不同等级的模糊处理，就可以模拟出光圈虚化效果。

■2.2 光学变焦

光学变焦是用两个摄像头配合组成，这两个摄像头拥有不同的可视角（FOV），两个摄像头看到的角度不同，会导致取景的范围不同。如果用户需要更广视角的图片信息，就可以使用视角大的摄像头拍照，取得广角效果。当用户需要拍摄远点的图像信息，则需要用长焦摄像头，虽然视角小，但是分辨率高，可以获得长焦效果。光学变焦镜头通常是由多组独立的凸/凹透镜组成的，有的透镜是固定的，有的是可以沿光轴前后滑动的。复杂的变焦镜头可以包含多达三十多个独立的透镜以及多个移动部件。变焦的功能主要通过改变无焦变焦系统来实现，它由多个固定的和可移动的透镜组合而成，但是并不进行聚焦，它通过改变光束穿过透镜的位置来达到变焦的目的。

现在绝大多手机对于变焦（或者说远距离拍摄）的需求，很多都是通过严重压缩图像画质的数字变焦。在这种市场大环境下，厂商在接到用户对手机拍照功能的主要诉求后。提出了这种光学变焦方案。但是如前面描述的，变焦镜头结构复杂，非常依赖于各种光学透镜的复杂组合，因此想用单摄像头就实现光学变焦功能，对于厂商手机摄像头的模组厚度、复杂度以及整体外观设计，都带来了很大的挑战。限于手机机身厚度，想做出不伸出机身外的变焦摄像头几乎不可能。如果单镜头既然不行，有的厂商尝试用两个镜头来实现。

双摄像头技术的理论基础，就是把原本需要纵向分布的空间光学体系，在横向空间里相对宽裕的机身平面里铺开。现在手机厚度已经越来越薄，有的薄到7mm，甚至向更薄发展，但是横向看机背面上与屏幕平行平面的空间是足够的。讲白了，就是比起把镜头做得不突出机身，在机背面上多放几个镜头明显要更容易做到。

目前camera模组厂商和变焦相关算法提供商的研发和测试，这种广角+长焦的双摄像头组合的变焦方案已经被业界厂商接纳。一个广角镜头和一个长焦镜头的搭配，在用户拍照后，系统会获得两个镜头的不同图片，通过算法，会将镜头获取的图片，消除切换差异，并且融合两种图片，实现相对平滑的变焦功能。因为长焦镜头拥有很高的像素，能保证广角镜头因变焦或畸变而丢失的图像RAW信息远远低于单摄像头用数字变焦实现的假变焦，进而大幅提升手机的变焦功能的性能。这种组合方式已经验证会得到非常好的光学变焦体验。

■2.3 夜景模式增强

很多手机都有夜景模式，如果用单摄实现这个功能，通常是用类似于HDR或者多帧的方式来实现，具体讲就是夜景模式下，取连续的5-7帧图像，进行图像融合，从而为了达到细节更加丰富的目的。但是这种方法有弊端，由于黑暗处物体的进光量有限，即使多次叠加，效果仍然有限。那么为了带来更好的用户体验，厂商使用双摄技术来实现弥补这个功能的不足。做夜景模式增强就是摄像头一个用RGBG的拜耳阵列标准摄像头，另外一个去掉RGBG 滤波片只保留Y方向的黑白摄像头。标准拜耳阵列的用来获得物体的色彩信息，而Mono摄像头专门用来获取进光量，用来判断被拍摄物体的亮度信息。然后将两个图片获得的信息通过算法融合起来，就会使原本的照片新增更好的亮度。

■2.4 深度相机

深度相机是一种可以直接获取场景中物体与摄像机之间的物理距离的相机。手机中新增的深度相机一般就是TOF。TOF的原理与3D激光传感器基本相同。不同的是三维激光传感器是逐点扫描，而TOF相机可以同时获得一张完整图像的深度信息。

本文介绍了一种高度简化的测距原理［2］。照明光源通常采用方波脉冲调制，因为数字电路比较容易实现。深度相机的每个像素由一个光敏单元（如光电二极管）组成，可以将入射光信号转换成电流信号。光敏单元与多个高频转换开关相连，可将电流导入不同可以储存电荷的电容器中。

相机上的控制单元先打开光源，然后关闭光源，发出一个光脉冲信号。同时，控制单元打开和关闭芯片上的每个像素点电子快门。用这种方式将光脉冲产生的电荷S0存储在传感器上。

然后，控制单元再次打开和关闭光源。这次快门稍后打开，即在光源关闭时。产生的电荷S1也存储在传感器上。因为一个光脉冲的持续时间很短，这个过程会重复数千次，直到达到曝光时间为止。然后读取传感器中的值，并根据这些值计算实际距离。

计光速为c，tp为光脉冲的持续时间，S0为先前快门收集的电荷，S1为延迟快门收集的电荷，则距离d可通过以下公式计算：

最小可测量距离是，在较早的快门周期期间S0中收集了完整的电荷，而在延迟快门周期期S1中完全没有收集到电荷，即S1＝0。代入公式计算，可以得到最小可测量距离d=0。最大的可测量的距离是所有的电荷都集中在S1中，而不是在S0中。然后，由公式得出d=0.5×c×tp。因此，最大可测距离由光脉冲宽度决定的。例如，tp=50ns，代入上式，得到最大的测量距离d=7.5m。

深度相机的应用主要包括以下几个方面：

(1)手势识别。TOF深度相机可以将人脸、身体、手臂和手指从背景中分离出来，分割可信度高，不受自然光变化的影响。同时，它可以实时处理，在智能交互领域有着广泛的应用前景。华为Mate30、Mate40系列的隔空操作功能，就是这个技术进入消费电子产品领域的最好代表。

(2)近乎真实的AR游戏体验。由于二维图像中包含了实时的深度信息，AR游戏的用户体验更加真实。例如，一只虚拟出来的猫可以通过实时的空间深度感知空间的相对位置。到了桌子的边缘，会很自然跳到地上，这在以往的AR游戏中是很难实现的。

(3)三维空间的测量。由于深度信息可以实时获取，三维空间测量的实现是自然的。比如在室内装饰领域，各种虚拟家具可以方便地放置在真实尺寸的真实环境中，用户可以用手机在室内体验到360°的家居真实效果，这无疑是一个激动人心的应用场景。

(4)三维扫描/重建。例如，如果你看到一个你非常喜欢的雕塑，你可以用手机上的彩色相机和深度相机扫描一周。结合相应的算法，可以生成雕塑的三维模型数据，并使用3D打印机轻松打印出三维雕塑副本。

3 结语

手机双摄技术已经得到了市场的充分的认可，硬件的条件已经具备。未来基于双摄像头技术的更多应用，会给我们的生活带来各种变化。当然手机厂商也会在手机上添加更多的摄像头，普通用户的摄像体验会越来越好，笨重的单反也会离我们越来越远。