胡情丰

（浙江理工大学 信息学院，杭州 310018）

0 引言

目前，针对静态场景的三维重建技术已经非常成熟。尽管如此，最新方法依旧有着较大局限性。由于很多算法都对数据本身有一个先验假设，比如低秩，这些假设对NRSfM 技术应用于实际问题有非常大的局限性。如实际场景中最常见的多人问题、物体之间的遮挡等，都是对这项技术的一个巨大考验。

最近，基于该问题，Facebook 公司提出一套基于无监督学习的NRSfM 问题框架——C3DPO。该框架主要使用了目前最热门的神经网络代替传统因式分解，使得模型可以很好地拓展到更复杂的场景中，从而实现从二维观测矩阵到三维结构的转化。该框架在文献［1］、［2］的基础上，加入一个正则化网络，以确保因式分解的有效性。该框架不仅可以对非刚性运动场景进行有效的三维重建，而且在刚性运动场景三维重建上一样有着出色的效果。

本文创新点如下：

（1）选择将Lookahead 与RAdam 相结合的方式——Ranger 优化器，以加快神经网络训练速度。

（2）结合实验分析以及Ranger 本身的性能，采用iResNet 为基本骨干网络搭建网络模型，在保证重建效果的前提下优化网络复杂度，使其更易于训练。

1 相关工作

1.1 NRSfM

Fig.1 3D reconstruction visualization of S-Up3D data after passing through the model图1 S-Up3D 数据经过模型后的三维重建可视化

NRSfM 问题研究至今，人们已提出了许多解决方案，以实现从多帧图像的二维关键点中恢复变形对象的三维坐标及形状［3-6］。然而，由于非刚性物体在运动时会发生形变，导致NRSfM 实际上具有较多约束，这也对正确分解三维视点和形状构成了极大挑战。……