韩煌达 张海翔 马汉杰 蒋明峰 冯杰

摘  要： 目前，面向实景图像的单图三维重建算法大多无法重建或者只能重建出已知拓扑结构类型的带纹理三维网格。文章结合目标检测网络，构建了基于隐函数的纹理推断网络“ColorNet”，用于预测三维网格顶点的RGB值，并且为Pix3D数据集的三维模型添加UV纹理映射，并进行渲染、颜色采样。网络在经预处理后的数据集上训练并测试。实验表明，“ColorNet”可以预测出三维网格顶点的RGB值，并通过与三维重建网络“IM-RCNN”相结合，实现从单张实景图像中自动地重建接近真实纹理的三维模型。

关键词： 三维重建; 纹理推断; UV纹理映射; 目标检测

中图分类号：TP3          文献标识码：A     文章编号：1006-8228（2021）12-01-05

Abstract： At present， most of the three-dimensional reconstruction algorithms for real-world images cannot reconstruct the 3D models with texture or can only reconstruct the 3D textured mesh with known topology types. In this paper， combined with object detecting network， a texture inference network "ColorNet" based on implicit function is proposed to predict RGB values of vertices of 3D mesh. UV texture mapping is added to the 3D model of Pix3d dataset by the network， and then the 3D model is rendered and color sampled. The network is trained and tested on the pre-processed dataset. The experiment shows that the RGB values of vertices of 3D mesh can be predicted by "ColorNet"， and the 3D mesh model close to the real texture can be automatically predicted from single real world image by combining with "IM-RCNN".

Key words： 3D reconstruction; texture inference; UV texture mapping; object detecting

0 引言

近年来，随着卷积神经网络的普及应用和大规模三维模型数据集的出现，基于深度学习的单图三维重建取得了较大的进展，通过这些单图三维重建网络，可以有效地从图像中重建出物体的三维模型。然而，这些算法仍然存在一些不足。

首先，目前的网络大多将研究重心放在三维形状重建上。然而，在现实世界中，物体不仅有三维形状，而且有纹理，有色彩。他们互相关联互相补充，使人们对三维物体的理解更为全面。因此，从图像中重建带有纹理的三维模型具有理论意义和实用价值，可以应用于虚拟现实、增强现实等诸多领域。

其次，这些网络大多从渲染图像中重建三维形状，所用图像只有单一的物体处在图像中心并且没有背景。而面向实景图像的单图三维重建网络所重建的三维形状大多没有纹理，或者只能重建出已知拓扑结构类型的三维网格。……