文物三维模型虚拟修复研究进展、挑战与发展趋势

2018-11-19侯妙乐赵思仲胡云岗

自然与文化遗产研究 2018年10期

侯妙乐，赵思仲，杨溯，胡云岗

（1. 北京未来城市设计高精尖创新中心，北京建筑大学，北京100044；2. 北京市建筑遗产精细重构与健康监测重点实验室，北京 100044；3. 代表性建筑与古建筑数据库教育部工程中心，北京 100044；4. 华北计算技术研究所，北京 100083）

文物是在社会历史的发展和演变中，由人类智慧及劳动所创造的具有历史、艺术及科学价值的遗物和遗迹，其数量繁多、种类丰富且质地多样。历史遗产代表了一个民族的文化底蕴和智慧结晶，还标志着不同历史时期经济、政治、科技及文化的发展水平和走向，为当代人了解历史、研究历史提供了可靠的依据和弥足珍贵的素材。由于人类活动、环境变化、自然灾害、保护能力等原因，大量文物正以不可逆的方式被快速损毁乃至消失，因此，应用现代科学技术有效继承并保护珍贵的文化遗产，使人类文明得到较好的传承，已成为全人类必须共同面对的问题[1-6]。在考古发掘中，每次考古现场挖掘都会出土大量残缺的文物。要完成文物的复原工作，文物工作者往往需要经过记录、编号、存储、测量、分析、比对、绘图、拼合等一系列繁琐的手工修复程序。当碎片数量较多、形状较为复杂时，即使是拥有丰富修复经验的文物工作者也很难精准地判断受损文物碎片之间的邻接关系；与此同时，文物修复工作中的一系列操作，均不可避免出现人与文物、文物之间的频繁接触与摩擦，这便使得文物在本体存在一定缺损的情况下，形成二次损害。

传统的技术手段已不能为文物保护修复提供有效的科学支撑[7-10]。因此，如何利用新技术为文物保护提供详实、科学的数据和支撑，已经成为近年来文物保护面临的重大需求。随着数字摄影测量、激光扫描、三维建模和虚拟现实等技术的发展，文物数字化保护已成为世界各国的重要科研方向。国内外学者在文物三维信息留取、文物高精度三维建模等文物数字化保护方面取得了一定的研究成果和相关积累，使得基于高精度三维模型的相关文物数字化保护工作成为可能[11-18]。结合传统文物修复方法并利用计算机虚拟现实技术对文物高精度三维模型进行虚拟修复，可为文物保护修复工作提供科学参考，有效减少实际修复工作中对文物的频繁接触，避免不当修复对文物造成二次损害[19-29]。文物的虚拟修复为文物考古、修复、研究提供了有效的辅助手段，是利用新技术理解历史文明的重要体现。文章在分析和回顾文物虚拟修复研究进展的基础上，总结了文物虚拟修复的现状、文物三维模型的主要特点及虚拟修复系统化的流程、框架及其典型应用案例，并分析了文物虚拟修复面临的挑战，最后展望了利用文物三维模型进行虚拟修复的发展趋势。

1 文物三维模型虚拟修复的研究进展

虚拟修复源起于生物医学、古人类以及古生物学领域，主要应用于计算机辅助神经、血管、牙齿的三维虚拟重建和古人类及古生物骨骼遗骸的虚拟复原。随着计算机科学的发展，虚拟修复进入了生物工程、建筑遗产和计算机数据库领域，主要应用于细胞、组织重建和已损毁建筑的虚拟重建，以及应对灾后计算机数据恢复问题。近年来，伴随三维建模、数字摄影、虚拟现实和计算机等技术的发展，形成了通过客观、完整地获取文物几何和历史信息等资料，利用数字化手段在计算机中对文物进行虚拟复原的文物数字化保护的新理论与新方法[17、23、30-33]。虚拟修复的应用研究开始走入文物保护领域，以“文物虚拟修复”为关键词，对近十年国内外所发表的研究论文进行检索（图1），从中可知有关文物虚拟修复的研究论文从2007年起呈现出快速增长的趋势，这表明“文物虚拟修复”已经成为当前学术热点。

图1 近十年文物三维模型虚拟修复研究情况

文物三维模型虚拟修复是汇集多个学科的交叉领域，其中涉及考古学、光谱学、计算几何、美学和计算机科学等。与传统文物保护方式相比，文物三维模型虚拟修复，能实现对文物的非接触修复以减少过多接触文物本体而造成的二次损害，如金箔起翘、彩绘脱落等。同时，文物三维模型虚拟修复可以为文物实际修复工作提供详实的参考数据，如预测缺损部位的几何信息、定位破碎文物的空间位置等。近年来，国内外学者在文物缺损部位复原、破碎文物碎片拼合等方面进行了深入研究，取得了主要进展。

1.1 破碎文物碎片拼合

随着千百年的风化侵蚀、战火和历史变迁，相当一部分文物已残缺或成为碎片。采用传统的手工方法将这些破碎文物修复，复原速度慢、周期长、成本高且易损伤。同时，传统的文物信息采集主要通过文字和影像资料等手段存储数据的介质（纸张、胶片）不易保存，且不能留存文物本体三维信息及发掘出土的三维位置信息。利用三维信息留存技术、计算机图形学、虚拟现实等技术手段，结合传统的文物保护与修复工作，将破碎文物按原始状态复原再现是当前文物保护的重要研究方向之一。

美国弗吉尼亚大学的Forma Urbis Romae项目通过对1 163片大理石碎片进行数字化扫描，以获取地形图碎片的三维模型来辅助恢复古罗马地形图。由于碎片形状各异且厚度不均，采用传统的手工拼接方法几乎难以完成，因此项目组利用碎片的三维模型模拟实际拼接以减轻工作的难度[34]。普林斯顿大学和Akrotiri Excavation等机构合作对阿克罗蒂里遗址中的破碎壁画进行了数字化留存，设计开发了一套针对壁画碎片的数字化系统，并利用其对壁画碎片实现了虚拟拼接和修复[35]。美国布朗大学的SHAPE实验室在文化遗产的数字化保护领域做了大量细致的工作，其STITCH项目主要是研究罐状文物碎片的虚拟拼接及复原问题[36]，通过对碎片两两比较，反复尝试并对比对结果进行评估计算，得到每对碎片之间的相似度，作为拼接模块贪婪选择方法的输入值完成自动有效地虚拟拼接陶器碎片。维也纳技术大学的模式识别与图像处理小组也在陶罐复原方面做了很多工作。通过使用三维霍夫算法估计出陶罐的对称轴信息，然后计算碎片的母线信息，再对母线的每一特征部分进行自动分割，计算特征曲线段来实现对轴对称的陶罐碎片进行快速分类以辅助文物工作者的实际修复工作[37]。西北大学、北京师范大学分别与秦始皇兵马俑博物馆合作开展了针对秦始皇陵兵马俑出土陶俑碎片的数字化探索工作，主要包括发掘现场和陶俑个体数据采集及预处理、陶俑碎片虚拟拼接及复原、考古线划图绘制及尺寸定量标注、发掘场景复原与展示。其中，在利用计算机辅助秦始皇陵兵马俑虚拟复原上做了出色的工作[5、27、38-44]，通过数字化手段获取兵马俑碎片的三维信息并构建三维模型，而后根据特征匹配实现交互式碎片拼合，实现了兵马俑的虚拟复原。

碎片拼合的本质就是碎片特征的匹配问题，碎片特征一般有特征点、特征线、断裂面、颜色纹理以及几何纹理，因此，碎片的具体拼合方式也就因待匹配特征的不同而各异。如利用碎片的轮廓线进行匹配，则有最近点迭代算法、最长序列算法、哈希算法、基于Fourier傅里叶变换的空间曲线匹配、基于连接点的3D多角弧匹配等方法[38、45-48]。当前，许多学者研究了基于断裂面的数字化文物碎片匹配拼接算法[11、44、49-55]，有效避免了邻接碎片匹配拼接时相互渗透的现象，解决了在破碎文物碎片数量大、形状复杂的情况下，采用传统人工复原方法难以完成的匹配拼接问题。然而，这些算法大多要求碎片断裂部位具有完整性，如若碎片断裂部位缺损严重，特征信息缺失较大，就无法进行正确的碎片匹配拼合。因此，针对断裂部位受损碎片的拼接问题，现有工作更多是通过多特征融合的方法进行碎片匹配。

1.2 文物缺损部位复原

由于战争、地震、水火等人为及自然灾害的原因，使得现存或刚发掘出来的文物大多都已残缺不全，导致其已不能通过碎片拼接的方法进行复原。而传统的修复方法是先记录文物现状的形状、颜色、纹理和质地测量值等，然后比较分析，再根据修复工作者的经验以及对文物分析的结果完成缺损文物的复原再现。在文物修复工作中，修复的关键就是寻找文物几何形态相关的科学修复依据，因为修复依据的不确定性会形成截然不同的修复效果（图2）。

图2 观音造像残缺手的不同虚拟修复效果

近年来，国内外学者对文物本体几何形态的规律性特征做了初步探讨，这些特征可帮助文物保护工作者从细节上认识和理解文物的历史、艺术和科学意义，同时为文物修复工作提供可靠详实的参考[56-57]。

一些学者通过利用文物自身的轴线、母线等几何特征，复原罐状文物缺损部位[58-61]。如Willis[62]于2001与2002年提出了基于陶罐碎片断裂曲线、对称轴和母线信息的复原方法，该方法主要基于贝叶斯概率模型，对每一个碎片之间的可能关系都定义了随机变量，将问题归结为最大似然估计或最大后验概率问题。Cohen[63]通过计算陶瓷碎片表面的微分信息得到表面特征并利用模板对齐方式来复原修复碎片。这些研究主要针对陶器等轴对称罐状文物，然而许多雕塑类文物也面临着严重缺损问题，亟待复原。

日本东京大学及日本政府保护吴哥古迹工作队通过对柬埔寨巴戎寺塔上的人面比对分析，发现位于同一塔上的人面具有比属于不同塔更高的相似度。利用了数字扫描技术获得了人面的3D复制品，并在每个塔内采用基于矩阵恢复理论的复原方法结合复制品对人面进行复原[64]。北京建筑大学文化遗产数字化与虚拟修复研究团队提出一种基于回归模型的文物几何修复方法，所提出的预测模型可预估缺损观音手的手指长度[65]。2016年，意大利学者对巴勒莫博物馆的一个大理石宙斯雕像进行了复原修复，通过对雕像及其宝座的三维扫描获取该塑像详尽的三维信息并构建了该文物的三维模型，随后将获得的三维模型与同一时期的几件雕塑类文物三维模型进行了比对分析，最终得到最接近宝座腿原始状态的模型，并运用了3D打印技术完成了实际修复[66]。

缺损部位复原本质就是寻找几何特征相似性的问题，相似性又包含两个方面：自相似及它相似，即文物本体中的规律性特征或文物之间的相似性特征。不过无论自相似还是它相似，均是通过对文物三维模型进行几何特征提取与分析后，对特征的一个相似性度量的结果[35、57、63、67-70]。而现有成果在文物几何特征相似性研究中尚未全面考虑文物整体的空间特征，也并未展开针对文物复原的几何形态反演及效果评定等相关基础研究。

2 文物三维模型的主要特点和流程框架

文物测绘与信息留存是文物保护中一项重要的基础且技术性极强的工作。传统的测量记录手段如绘图、摄影等只能获得三维文物的二维平面信息及影像，而无法详实地展现出文物的三维形态。随着三维建模技术的不断发展与成熟，文物三维信息留取渐渐成为文物数字化保护与修复的重要支撑手段之一。通过快速获取文物表面空间坐标，得到数字化的文物三维精细模型，从而实现对文物现状的真实、完整记录，辅助文物现状的调查与评估以及为后续进行的保护与修复提供科学依据。近年来，文物考古领域开展了一系列的三维建模技术应用实践工作，如故宫博物院的“数字故宫”系统工程；洛阳龙门石窟研究院的“数字龙门石窟”工程；美国斯坦福大学的“数字米开朗基罗”项目等。这些实践工作不仅促进了三维建模技术在文物考古领域的进一步开展与探索，同时也有力地说明了当前的文物三维模型已经广泛而深入地应用到了文物的协同研究与保护过程之中。

2.1 文物三维模型的主要特点

作为满足考古发掘过程中获取各类信息需求，与为文物的虚拟展示、辅助修复提供支撑的手段，与一般实体三维模型相比，文物三维模型特点显著。

(1)模型不易获取。我国现有重点文物保护单位4 290处，仅故宫博物院一处就有藏品1 862 690件/套，重庆大足石刻仅石刻造像就有5万余尊。面对数量如此之巨的文物存量，想要对文物一一进行数字化信息留存，难度可想而知。

同时，文物具有珍贵、易破损的特殊属性，当前绝大多数文物的数字化信息留存都需要得到相关文物保护单位的批准，即在对文物进行数字化之前就需要获取一定的资质并遵循相关要求。少量极其稀有、珍贵的文物甚至都没有机会获取其数字化三维信息。

(2)结构更为复杂。文物保护与研究是专业性、技术性很强的工作。将文物实体数字化形成高精度三维模型，并在计算机中模拟现实进行操作，便于文物保护方案的制定、调整和实施，为文物实际保护工作提供科学的参考依据。

与他类实体不同，文物大小各异，姿态万千，精致细腻，以秦始皇陵兵马俑为例，素有千人千面之说。随着岁月的流逝，大多文物都呈现出残缺、破损的状况。因此，与其他实体相比，要想得到反映文物实体详实信息的三维模型，就必须要面面俱到，将文物的细节纹理、各类病症都清晰、准确的呈现出来，进而为后续的病害统计、虚拟修复、保护研究提供最精准的数据。

(3)数据体量增大。文物体量各有不同。以重庆大足石刻为例，其宝顶山大佛湾8号龛的千手观音造像是我国最大的集雕刻、泥塑、贴金、彩绘于一身的立体型摩崖石刻造像，高约7.7 m，宽约10.9 m，正投影面积约84 m2，展开总面积达210余m2[71]。在对文物进行三维信息留存时，一般要经过多次数据采集，才能获得整个文物的完整数据，从而保证文物三维模型的真实性。如运用高精度扫描仪Romer对秦始皇陵兵马俑的7尊人俑、1尊马俑进行精细扫描与纹理采集，所获点云原始数据总量即为44.07 GB，纹理照片数据1.12 TB。

同时，数据体量的大小直接影响到后续文物三维模型数据处理的复杂程度。因文物三维模型数据处理包括点云预处理、三维建模、三维彩色模型构建，故相较于一般实体模型，在数据处理的过程中涉及操作更多，诸如数据的拼接、分割、简化和合并等，其数据处理量更大，处理过程也更为复杂。

(4)精度要求更高。随着时间的推移，在长期自然影响和人为因素的作用下，许多文物都出现了严重的局部损坏，亟待修复。文物三维模型是反映文物本体状况最详实的数据，是其数字化留存、病害检测及虚拟修复的基础。文物三维模型数据处理是一个精细且复杂的过程，在这一过程中，无论是点云数据的拼合还是简化，每一步操作都伴随着一定精度损失。相比于一般实体三维模型，文物三维模型要求对文物的细节表达更加细腻，因此，在数据获取及处理时对精度的把控都更加严格。

(5)隐含信息庞大。文物真实反映历史，但文物不会说话，因此文物本体上有众多的信息有待于挖掘。由于文物三维模型精度高，可近似看作文物本体的虚拟复刻品，故基于文物三维模型获取文物表征信息、挖掘文物隐含信息可有效避免实际研究中对文物直接接触而造成的二次损害。

随着计算几何、计算机图形学以及人工智能的快速发展，利用文物高精度三维模型提取文物显著特征，并对其进行分析以找寻其内在规律和特性，将使得文物有越来越多的信息被发掘并为人所认知。

2.2 文物三维模型虚拟修复流程框架

文物虚拟修复流程包括现场踏勘、方案制定、数据采集、数据处理、虚拟修复、应用研究及成果（图3）。

在文物保护修复过程中引入虚拟修复，不仅可以避免在文物本体上直接进行修复实验以及过多人工接触对文物本体所造成的二次损害，而且可以为实际修复提供多种修复方案及效果以便文物保护专家和文物修复师进行评估分析。最终，文物虚拟修复的成果还能为实际修复工作提供描述文物本体的各式图件和尺寸数据，为文物修复提供科学指导和科技支撑。

在文物保护中引入数字化技术，是文物保护领域的一场技术革命，它不仅改变了文物保护的传统技术与手段，而且还进而影响了考古工作者、文物修复师的思维方式和工作流程[26]。文物数字化及虚拟修复的出现，为文物保护开辟了新的方向，为建立文物保护综合系统提供了完整的空间信息基础和依据。

图3 文物三维模型虚拟修复流程

3 文物三维模型虚拟修复研究案例

3.1 缺损部位复原研究实例

大足石刻是著名的世界文化遗产，千手观音造像位于重庆市大足区宝顶山大佛湾南崖第8号，于南宋时期雕凿而成，距今已有800余年的历史。千手观音石刻造像以近千只形态各异的观音手以及其手中持有的各类观音法器，并呈现辐射状排列著称。整龛造像布局严谨，气势恢弘，是大足石刻的精华，也是同类题材中的登峰造极之作，被誉为“世界石刻艺术之瑰宝”，具有极高的历史和艺术价值（图4(a)）。

在长期自然环境因素和人类活动的影响下，其局部破坏已十分严重，如金箔起翘、脱落、烟熏；彩绘龟裂、起甲、脱落；岩石风化剥落、断裂、缺失等。亟待利用科学的方法对其进行保护与修复[7、72-74]。千手观音观音手的不同形态体现了不同的佛教意义，很多观音手手指由于受到病害侵袭而部分缺失或完全缺失，限制了考古学的研究（图4(b)）。

图4 千手观音石刻造像现状图

对此，北京建筑大学侯妙乐团队结合文物本体需求，利用文物数字化、虚拟现实、计算机技术等建立大型复杂文物三维模型的虚拟修复工作流程，并以大足石刻千手观音石质文物为例，提出了一种基于回归模型的文物缺损部位尺寸预测方法（图5）。

图5 尺寸预测模型构建流程

首先，提取观音手三维模型的骨架线（图6），通过对大量保存完好手指骨架线长度进行统计分析，成功建立能够估算该文物中缺失手指的指长预测模型，并用该模型对缺损的千手观音手指缺失长度进行估算，最后验证所提出相关算法的正确性与可行性。

图6 某观音手三维模型几何收缩示意图

通过找到观音手缺损部位的修复依据，利用曲面建模与融合技术对观音手缺损部位进行虚拟修复。虚拟修复所得到的观音手三维模型为文物保护工作提供科学、有效的辅助决策。

3.2 碎片拼接复原研究实例

秦始皇陵兵马俑被誉为“世界第八大奇迹”，1974年在西安市骊山脚下的秦始皇陵东侧被发现，1987年被联合国教科文组织列入“世界人类文化遗产”目录。在秦始皇陵遗址的挖掘工作中，现阶段所发掘的陶俑，大多数已经破碎成大小不一、形状各异的陶片，鲜有完整陶俑出土（图7）。因此，如何对目前出土的大量秦俑陶片进行管理与保护并为兵马俑的研究和实际修复工作提供重要的数据与理论支撑，是现阶段考古学家亟待解决的问题。

图7 兵马俑部分现状图

在传统的兵马俑碎片复原拼接过程中，碎片空间位置由文物修复师不断尝试两两对拼而确定。为提高修复效率和准确度，修复师在拼接复原兵马俑前会将发掘出来的陶俑碎片提前进行分类，确保在同一尊兵马俑中正确按照俑体与碎片相匹配部位进行排序、编号。即便如此，要完全拼好一尊兵马俑也需要3-5个月的时间，不仅耗时费力，且陶俑碎片在确定相互位置关系过程中彼此间多次进行接触摩擦，易产生碎片掉渣及其表面的彩绘纹理脱落、起皮等现象。

西北大学可视化技术研究所，针对兵马俑复原问题，在特征计算、轮廓线提取、断裂面匹配、高层语义标注、三维模型检索等方面进行深入研究。在此基础上，结合计算机图形学、可视化、虚拟现实技术等完成了大量兵马俑碎片拼接与重组的实验。

本团队基于秦始皇陵兵马俑出土陶片高精度正射影像和亚毫米级精细化文物三维模型（图8），研究粗拼接与精拼接多层次文物碎片虚拟拼接流程，开发实用、高效的三维拼接软件系统，实现文物碎片拼接及复原可视化，保证文物修复的科学性。

图8 G11-33人俑头部数字化保存成果

多层次文物碎片虚拟拼接，首先将获取的陶片精细化三维模型导入自开发的三维拼接复原软件中，再引入文物领域专家的先验知识辅助计算机将出土陶片分类标识并编号（例如带有甲带、甲钉的碎片即为铠甲部分；较光滑的碎片即可能为战袍部分；具有明显部位特征部分如头部、手臂、腿、履等）。经过分类标识并编号的碎片利用基于几何不变量提取特征进行匹配的拼接算法在自开发软件中完成“粗拼接”，形成大致的一个轮廓区域，而后采取人机交互手段，通过手动拾取未被分类标识和在“粗拼接”中标识后却未能确定拼接位置的碎片，在已经形成的轮廓区域中进行两两互拼尝试，即“精拼接”，最终得到精准的陶俑碎片空间位置关系（图9）。

利用该拼接流程可得到确定所有陶俑碎片空间位置关系的兵马俑数字三维模型（图10）。文物修复师在实际拼接复原工作中可依据碎片编号快速高效修复兵马俑，还可减少修复过程中因反复尝试比对拼接陶俑碎片而对文物造成的二次损害。

图9 兵马俑碎片拼接复原关键技术

图10 多层次碎片拼接流程

碎片复原问题的成功解决不仅会促进计算机图形学、数字图像处理、虚拟现实、可视化以及人工智能等领域的发展，还将开辟模式识别新的应用途径——文物保护，使得数字考古更加科学、智能。

4 文物三维模型虚拟修复面临的挑战

文物是不可再生的历史文化资源，是国家文明的“金色名片”。加强文物保护、管理和合理利用，对传承和弘扬中华民族优秀传统文化，提升国民道德素养，增强民族凝聚力，具有重要意义。

近年来，以文物三维模型为基础，利用计算机虚拟现实技术，并与传统文物保护与修复工作相结合对文物进行虚拟修复，以辅助文物保护工程，已经成为国内外研究热点问题。尽管文物三维模型虚拟修复已取得较好的研究成果，但也还存在诸多不足之处。

4.1 文物多源数据与尺度属性一体化

探索结合不同技术获取的多源数据成果对文物进行多维度虚拟修复；研究面向文物保护的专业化软件，当前对文物数据进行处理与虚拟修复几乎都在已有商业化工业软件中进行，此类软件精度较高、工具较为丰富，但在功能上相对于实际修复工作会有所不足；建立基于特征分层的多源、多维研究尺度，实现文物本体及文物间多尺度、全覆盖信息提取与挖掘。

4.2 文物复杂特征的精准理解

基于机器学习、人工智能等理论方法探索文物特征认知与自动提取的理论与方法，研究建立文物复杂特征的准确提取、分类及语义化模型建立，建立面向文物三维模型的复杂特征描述、分类与建模方法，结合文物领域专家知识架设文物三维模型与科学虚拟修复的桥梁。上述关键问题的突破将形成完备的文物三维模型虚拟修复（覆盖全、要素全、关系全）理论与方法体系，实现文物虚拟修复由“单一、人工、不确定”到“多元、智能、更科学”的跨越。