宗呈

手机的智能化

回顾智能手机商品化发展的过程，它之所以能成为影像的生产装置，在其早期发展阶段大体上经过了三个转折点。奠定基础的第一点是手机的智能化，以1992美国IBM公司在拉斯维加斯COMDEX（计算机卖家展销会）上发布的世界上第一台智能手机的原型机Sweetspot为标志。到1995年经反复改进后量产时取名Simon Personal Communicator（西蒙个人通信器），它是一台源自PDA（Personal Digital Assistant，直译为个人数字助理），即掌上电脑，以单色液晶触摸屏操控，具有大量应用程序如日程安排、日历、世界时钟、地址簿、电子记事本等，又加入了接听拨打电话、收发传真和邮件功能甚至还可以支持第三方应用程序的智能手机。它的出现是90年代计算机与通信技术的一次融合的产物，使人机与人人交互合二为一。

手机的摄像头与触摸显示屏

第二个转折点发生在手机与摄像头的合体。依据CNN网站1999年5月18日的报道和日本京瓷（Kyocera）公司2003年刊印的该公司可持续发展报告显示，1999年5月，京瓷公司率先面向日本市场推出了VP-210手机。该手机是世界首款自带摄像头与彩色屏幕，可在通话中以每秒2帧的速率实时接收与传输影像以实现视频电话的手机。而且，它还具有拍照的功能。其摄像头和CCD传感器能够拍摄11万像素的照片并在机内最多存储20张。这些照片还可以通过互联网的邮件服务发送给电脑或者接收邮件中的照片存储到手机里。值得注意的是，这第一款视频手机的摄像头位于手机拨号按键和屏幕的一面，即只适合通话时自拍，这意味着如果拍摄者要使用这个前置的摄像头向外拍摄，他将无法通过屏幕看到他所要拍摄的对象。这点显然是受益于20世纪中期可视电话技术与20世纪八十年代视频压缩算法如DCT（离散余弦变换，一个数学概念，最早被广泛用于视频压缩算法中）。由于手机摄像头阉割了相机上的光圈、对焦环和快门的设计，VP-210的静态照片拍摄功能与其称之为拍照还不如说是在其处理器和CCD传感器的能力范围内截取一帧，其光圈值、快门速度和对焦位置都无法由拍摄者设定而是由预置的程序自动控制，这表明了手机生成的影像自诞生起就具有自拍、自观和捕捉动态视频的特性。直到2000年，日本夏普公司推出了带有后置摄像头的J-SH04，手机才终于有了接近数码相机向外看的拍摄体验。讽刺的是，即使离智能手机的发明已过去五年，由于不具备智能手机的操作系统，无法支持原厂或第三方应用程序，无论是VP-210还是J-SH04均不算是智能手机。最后一个转折点在2002年，随着内置摄像头和塞班操作系统（Symbian）的智能手机诺基亚7650的发布，摄像头与智能手机才完成合体，奠定了智能手机逐渐成为影像生产的主要装置之一。

今日的手机之所以需要前后多摄像头，主要是由于平板触摸屏交互界面的设计。除了IBM开创性的Sweetspot和Simon采用平板式触控屏设计外，早期的智能手机如诺基亚1996年发布的9000 Communicator（也有人质疑其为智能手机，因为它只是把掌上电脑与手机连在了一起，并不是共用一个操作系统），高通（Qualcomm）1998年发布的pdQ-800和爱立信（Ericsson）R380等机型都采用了可开合折叠式设计，内部掌上电脑，外部实体拨号按键用来拨打电话。类似三星SCH-X590这类安装在转动轴上的可旋转摄像头设计虽然巧妙，但随着特种玻璃、电容式液晶屏和多点触控技术和手机操作系统等软硬件的发展，2007年横空出世的苹果iPhone，以其电容式触控屏和原生的iOS操作系统设计已经可以媲美，甚至在效率、多功能性、紧凑度、耐用性等方面上超越了实体按键，这使得开合折叠设计失去了存在的意义。取消了实体拨号按键后，智能手机可以设计得更轻薄，安装更大尺寸的显示屏以提供更好的交互体验，这也可以算是IBM Simon开创性设计的一次继承与发展。iPhone在市场取得的空前成功奠定了此后几乎所有智能手机均采用平板触摸屏交互界面的设计和苹果公司的iPhone在智能手机市场霸主的地位。由于人手的生理结构与使用习惯，智能手机的触控显示屏默认的设计都是竖屏显示以便于单手握持、操控与接听。而且竖屏显示符合人脸或人体的比例，使以自拍人脸和人体为拍摄主体的用户在手机相对较小的屏幕上最大化人脸的显示面积，在相关短视频应用程序的推波助澜下生产了大量竖屏的动态影像。这对传统的动态影像展映特别是电视和电影的屏幕标准提出了新的挑战。传统电视和电影的横向显示基于模仿人眼双目视域，而智能手机由于体积小并内置了重力感应传感器来感应手机的位置从而在应用程序的参与下自适应改变视频的显示方向，无论是横向还是竖向的视屏都能最大化利用显示屏获得最佳的观看体验，这对于体积较大的电视特别是电影的屏幕来说却很难办到。

显示屏对于智能手机来说既是拍摄数字影像的取景器也是拍摄完成后回放时的观片器，更是好比一块《白雪公主》中皇后的魔鏡。相比光学取景器，它在早年虽有几毫秒的延迟，但它再现了类似大画幅相机的对焦毛玻璃那样清楚但却正置的物像。随着显示屏技术的发展，显示屏从单色走向多色，从全彩色LCD、LED走向OLED。显示屏的分辨率、亮度、对比度、刷新率、响应时间，色域范围和色深等参数提升，使得其观看体验越来越接近人类肉眼感知的极限，苹果公司甚至使用“视网膜（Retina）”来命名其电子产品的屏幕。这种转变得益于电视录像、计算机与数码相机等相关媒介的发展，照片的观看不再只能通过印相、背照或投影，取景框内的影像正是传感器上像素点在液晶屏上的再现。加色法、自发光的照片成为了可能也预示了静态影像与动态影像之间的界限逐渐消失。这种转变已不是传统黑白照片走向彩色照片那样的化学配方感光的间接转化，而是走向光电直译的物理方法，虽然其光电直译仍受到CMOS传感器拜尔阵列先天缺陷的制约而无法完全采样被摄体的红绿蓝三色光。同时，由于智能手机用于影像拍摄的应用程序具有许多预设的效果选择，显示屏可以实时显示经芯片处理的传感器采样的影像像素。例如，各大智能手机厂商都会在其影像拍摄的应用程序中加入各种预设的风格滤镜，当拍摄者选择了某滤镜后，显示屏上就能实时显示应用该滤镜后的效果。美颜相机的应用软件甚至还可以实时放大被摄者的眼睛，缩小脸部，拉长腿部，增白增粉被摄者的肌肤，并且这种改变不但能被拍摄保存为静态的照片，还可以保持动态实时生成的状态。这也推波助澜了视频直播的广泛应用，堪称数字信息时代的魔镜，满足了万千爱美的拍摄者即使不化妆、不整容和整形，也能够在影像中塑造自我美丽形象的愿望，并间接引发了大众审美的模式化和程序化的危机。值得一提的一个影像艺术案例是以化妆自拍著称的美国摄影艺术家辛迪·舍曼（Cindy Sherman），她从2017年起在Instagram（智能手机图片社交应用程序）上发布经过手机特效相机应用程序完成的自拍照，照片中她的样貌扭曲变形，极端夸张，有些甚至用了脸部抠像与其他照片合成。可以说她充分利用了智能手机的魔镜（程序和屏幕）完成了其自拍照的数字化形，也挑战了传统逼真、审美的自拍照和画廊、美术馆之类的艺术展示空间。

此外，在拍摄完回看时，智能手机可以立即对所摄影像进行处理，并具有在互联网上备份和发布的能力。这种能力本应是电脑才具备的，但智能手机的出现不但整合了影像生产的前期和后期流程，而且还由于其小巧便携性，成为了可时刻伴随左右的人的延伸，像一个机器视觉器官一样如实地留下客体的影像备份用以唤醒人类主体曾经的记忆和生命体验，并且这份主体的记忆和生命体验还能通过互联网分享而引发其他有相似体验者的共鸣而形成集体记忆。这种影像的生产流程效率很高，复制精确，传播迅速，对新闻报道和自媒体的发展有着革命性的意义，但也极大地受显示屏本身所影響。如果一台智能手机的显示屏颜色不准，就会引发所有的影像生产环节的链式反应。并且在分享端，不同显示屏上看到的影像可能色彩完全不一样，即使该影像的数据本身是丝毫不差地被复制的。数字影像丢失了其物质性却又被再现数字影像的物质所影响。智能手机的显示屏也成为一个连接个体视觉经验与数字信息网络的节点。节点与节点通过应用程序中的账号相互连接成类似人体的神经网络，互相快速传递电信号，形成数字信息网络的基本组织结构。在这个结构中，作为个体的经验（部分记忆）的影像可以被存储、被共享和被实时或后期修改，真实与虚假之间的界限变得真假难辨。像线性剪辑系统被非线性剪辑取代一样，线性历史观也逐渐被“非线性”或多重线性的历史观取代。以控制论的观点看，人类社会可以通过每个智能手机用户的触摸显示屏和程序形成一个信息反馈的闭合回路，这在应对像新冠病毒一样全人类的危机时显得尤为重要。自2019年以来，通过智能手机所发布的影像，武汉、中国乃至世界各国的疫情得以成为人类的集体记忆，其中掺杂着真实与虚假、个体与集体、经济与科技，意识形态和政治斗争等等问题。智能手机程序使用摄像头扫一扫健康码、行程码成为了中国疫情防疫管控和流行病学溯源的有力工具。智能手机成为了隔离期间人与人交流的主要通信方式，视频会议和视频授课成为全世界范围内的一种常态。

由于无需使用可开合折叠式设计一样的转动轴，因而如三星2002发布的SCH-X590类似的可旋转摄像头设计也就没了用武之地。前后多摄像头的设计虽然增加了成本，但在满足自观与外看的基础上，提供给用户更接近可换镜头相机系统的影像画质和视角体验又保证了其紧凑和耐用性。以智能手机代表的苹果公司为例，其2019年下旬发布的后置三摄像头的设计iPhone 11 Pro与美国Bell & Howell公司在1929年发布的世界首款三镜头最紧凑的16mm胶片的电影机Filmo 70C布局极其相似。Bell & Howell的Filmo 70系列机型以其紧凑、结构简单、坚固耐用和操作方便在新闻报道、军队战争和业余爱好者中得以广泛使用，也影响了后世的Arriflex和Bolex等经典电影机的设计。只不过由于紧凑性的考虑，苹果公司并未采用Filmo 70C那样的可换镜头的旋转塔式三镜头布局。这种镜头布局结合苹果公司的拍摄软件，把三个递增焦段的光学定焦镜头与数字放大结合起来，使得iPhone在保证轻薄小巧、不损失太多画质的基础上有了变焦镜头的使用体验。

手机引领的计算摄影

智能手机的摄像头与传感器相比相机，在物理尺寸上天生就具有更大的限制。截止到本文撰写之时，市售的智能手机如夏普AQUOS R6和索尼Xperia PRO-I主摄像头CMOS感光元件尺寸都不超过1英寸（拍摄时由于镜头像场限制实际有效拍摄面积更小），最大光圈不超过f/1.5，相对于数码相机较小的感光元件主要会导致四个方面的问题：第一个问题在于弱光情况下噪点的增加（或者曝光时间的延长）。目前智能手机针对第一种问题的解决方案主要是通过算法、增大感光元件尺寸和加入镜头防抖的硬件。其中比较有代表性的如华为的超级夜景模式，谷歌pixel手机上的“Night Sight”，苹果的夜间模式等算法。同时，苹果、华为、谷歌等厂家均在提高其智能手机的感光元件尺寸与优化其镜头防抖的软硬件，这些软硬件的合力使得手机在弱光下手持也能拍摄接近数码相机的照片。第二个问题在于较低的动态范围。较小的CMOS传感器面积和较高的像素会导致单个像素的面积减小，这使得每个像素所能接收的光子量少了从而影响了照片的动态范围。各智能手机厂家对该问题的解决方案主要通过HDR技术，在拍摄者拍摄一张照片时在程序后台替用户拍摄多张不同曝光的照片，堆栈运算，合成出一张高动态范围的照片。第三个问题是难以实现浅景深效果。较小的感光元件尺寸直接导致了摄像头所拍摄的照片景深效果在大多数直出的情况下很接近于相机小光圈大景深的效果。但随着3D感知技术的开发应用，这个问题已得到基本解决。从早期的双目立体视觉技术发展到现在较主流的结构光和飞行时间（Time of Flight）技术，苹果公司更是在飞行时间技术基础上开发出其特有的LiDAR激光雷达扫描技术来测算照片像素的深度（ Light Detection and Ranging， 一种通过激光扫描来检查地貌的遥感技术。该技术还被苹果用来提升智能手机弱光下对焦的速度和精度），再结合机器学习真实镜头的景深虚化数据，在其智能手机中央处理器集成的神经网络引擎支持下运行卷积神经网络的图像分割算法，甚至可以在摄像头以最大光圈拍完一张照片后，再后期调整出在不同光圈下的景深虚化效果。最后一个问题是智能手机所拍摄的照片同像素下画质比数码相机拍摄的画质差，苹果给出的解决方案是深度融合（Deep Fusion）。这项技术在苹果公司的演示效果上有些类似宾得在K1数码相机上首创的像素偏移（Pixel Shift），但原理不同。按苹果公司全球市场高级副总裁Phil Schiller的原话 “在拍摄者按下‘快门’前，苹果的手机就已经拍摄了四张短曝光、四张次短曝光照片，当按下 ‘快门’时拍下一张长时间曝光的照片，然后神经引擎分析这些照片中采集到的像素，挑选出每张照片中最佳的像素点，重新合成出一张更清晰、低噪点的照片。” 然而，这项技术的激活由苹果公司的光线识别算法的控制（iOS15.2.1系统中被称为“场景检测”：使用智能识别图像，自动改善各种场景的照片），拍摄者却无法控制它的激活。当拍摄对象光比大时激活的是HDR，弱光下激活的是夜间模式，而深度融合处于二者之间的情况下才能被激活。这些案例从侧面说明了，为了使广大用户使用方便，作为影像生产装置的智能手机是一种高度自动化的装置，为了克服天生硬件尺寸限制带来的种种问题需要大量基于软件层面的辅助计算，可以说它本质上是一种用数学来模拟光学的计算摄影，比数码相机的数字化程度更高，甚至在未来有希望去除镜头的一次影像生产装置的革命。拍摄者只需构图取景后按下“快门”就可以得到一张原来需要一定摄影技术才能拍出的照片，这也是苹果、谷歌、华为等众多智能手机设计者所希望与用户建立起的一种信任关系，使得智能手机作为一种影像装置处于一种被程序化、自动化所控制的“暗箱”的状态之中。智能手机使用户不再需要考虑太多摄影的技术操作，也因此失去了对影像生成过程的自由控制。巴西哲学家、媒体理论家威廉·弗鲁塞尔（Vilém Flusser）在《摄影哲学》中对自动性的批判，提醒人们不要习惯于自动化、程序化的摄影装置，要与之博弈来获取自由，“通过装置来获得某种东西，而且把并非出于其程序下的东西放进影像中”。对于影像艺术创作来说，在技术迭代迅速、影像装置和应用年年出新的当下，这点尤其值得引起重视。

1964年，加拿大传播学者马歇尔·麦克卢汉（Marshall McLuuhan）在《理解媒介》媒介中首次提出的核心论题“媒介即信息”，智能手机即是信息，也是制造信息的媒介。通过对智能手机的媒介考古这一分析和呈现该媒介的方法，影像作为智能手机在数字信息时代所能生产传播的最具影响力的信息，具备了可以独立于语言文字逻辑之外更直接和更具吸引力的一种独特现象的研究。在媒介高度自动化和程序化，技术被垄断加密的背景下，在消费与生产、发明与再发明、设计与使用，以及熵与逆熵的博弈中，影像艺术创作或许可以从逆向工程和开源的角度，从媒介技术与形式出发，思考创作的内容，以此来应对影像艺术创作仅成为内容生产的危机。