郭育青

使用奥林巴斯E-M5 Mark II相机像素位移功能拍摄的树林，在高解像度模式下，E-M5 Mark II会连续拍摄8个影像，每个影像之间，相机的防抖系统会将感光元件平移0.5个像素，相机自动将8个原來只有1600万像素的影像变成4000万像素影像。

熟悉彩色数码摄影的朋友应该了解，相机能够拍到彩色影像是因为每个像素点都记录下了红、绿、蓝三种色彩信息。目前主流的采用拜尔阵列式CMOS的数码相机在传感器表面覆盖了一层规律排列的滤光层，上面排列了与下层像素点对应的红、绿、蓝滤光镜，光线摄入传感器后，经过拜耳阵列被分解为红、绿、蓝单色光，再到达下层的像素点，传感器便记录下这个单色光的光强信息。这样，每一个像素点的真实色彩信息只包含三原色其中之一，再经过图像信号处理器进行插补计算而得到每一个像素点的红、绿、蓝信息。这个过程被称为“解马赛克”（DeMosaic），我们现在所说的“伪像”“摩尔纹”等都和解马赛克的过程有关。而且，解马赛克的过程中通常会假设颜色给定图像中某个区域的像素相对恒定。在这种假设下，颜色通道高度相关，重建欠采样颜色信息的过程中出现不自然的现象也就不足为奇了。

“解马赛克”原理

此方案最早是柯达公司科学家拜耳（Bryce Bayer）发明的，因此被称作“拜耳阵列”，现在广泛运用于生成数字图像。“拜耳格式”是相机内部的原始图片格式，一般我们习惯称之为RAW格式。存储在存储卡上的JPG或其它格式图片， 都是从RAW格式转化过来的。

目前大多数相机和手机摄像头都采用拜耳阵列式传感器，所拍摄图片的分辨率主要取决于传感器尺寸与像素数量。和传统单反相机相比，以智能手机为代表的小尺寸相机传感器小很多，像素数量少，这限制了它们的分辨率。也有一些相机在小尺寸传感器的基础上依然配备了很高的像素数量，但单个像素尺寸很小，又限制它们拍摄出画面的信噪比。

然而，作出大尺寸传感器并不是简单的事，而且大尺寸传感器必然导致相机尺寸增大。因此不少厂商便开始研究如何在不牺牲像素点大小、不增加传感器尺寸的前提下提高图像分辨率。以奥林巴斯和松下为代表的厂商多年前曾推出过一种像素位移技术（也被称作“摇摇乐”），在传感器尺寸和像素数固定的情况下，试图利用通过连续拍摄多帧图像的方法提升物理分辨率。不过这种方式对于拍摄的要求很高：首先，它要求相机必须是完全纹丝不动地放在拍摄位置上;其次，只在一些特殊的具有机身防抖的相机上才能用。如此，“摇摇乐”可以说是一种高端摄影功能，难以推广也不易上手。

不过，科学家们还是有其他办法来实现超高分辨率，比如业内有一类非常流行的基于机器学习的算法——单帧超分算法，最具代表性的是谷歌的RAISR剃刀算法。它的处理过程基于单张照片，通过机器学习的方式，分区增强不同特征的细节和层次，以达到整体的分辨率提升，同时还能保证较高的峰值信噪比。这个方法在很多手机和相机上已经得到应用了，其优点和缺点也都很明显：优点是的确会让你在肉眼感受上觉得画面的分辨率有提升，锐度有提高;缺点是它并非真正的物理分辨率的提升，同时还要求你的硬件能够胜任这种机器学习的算法。

摇摇乐的原理

采用像素位移技术拍摄的海边礁石和海浪，分辨率16736×11168，松下S1R相机、24-105mm F4变焦镜头，f/6.3，1/3200秒，ISO 800

另外一种行之有效的方案是利用多帧图像来做超高分辨率图像的合成，这也是目前手机、相机都非常乐于采用的一种计算摄影方法，最典型的应用是可以在苹果和谷歌手机上实现的“无损数码变焦”，尤其是谷歌Pixel3手机。谷歌Pixel3背后只有一颗摄像头，却仍然可以在2倍放大图片时保持分辨率不变。

RAISER算法的效果，上图为原图，下图为超高分辨率图片

这个方法背后的思想是利用手腕的自然晃动来模拟出“摇摇乐”的效果。看似简单，但背后却隐藏了深刻的科学原理。科学家通过大量的实验和验证发现人手腕的这个抖动和“摇摇乐”实际上是等价的。手握着相机（或任何物体）时，自然的手部震颤总是存在的，振幅很低，具有高度周期性，頻率在8～12Hz的范围内，运动规模较小且随机。并且大量实验表明，该行为不会随年龄变化。因此，手部震颤移动相机的运动规模足以提供亚像素级别的图像对齐操作，从而能够为超分辨率的算法奠定理论基础。

因此，当你手持拍摄的时候，超分辨率算法就利用手抖来提升分辨率;当你的手机放在三脚架上时，算法会调用光学防抖来模拟“摇摇乐”以提升分辨率。最终结果是：不管你是手持还是不手持，拍出来的照片都会超越单张照片的物理分辨率极限。更进一步讲，多帧超分辨率的计算摄影算法本质上是利用每一帧亚像素级别的微小偏移，在连拍的过程中直接得到了完整的RGB图像，去掉了传统数码流程中解马赛克这一步操作。这就使得同样一个传感器，物理分辨率提升了、画面的信噪比也改善了，原来的种种奇怪的摩尔纹、伪色等也近乎消失了。

多帧超分辨率的效果对比

拍照时如果手抖，反而更清晰了。这并不是一句空谈，而且已经切切实实发生在我们身边了。当我起们拿手机拍照的时候，可能就已经在用这个计算摄影方法了。只是这个方法是隐藏的，大多数人感受不到罢了。