闫龙，张伟

一种室内建筑点云平面图快速生成方法＊

闫龙1，张伟2

（1.山东工商学院 管理科学与工程学院，山东 烟台 264005；2.山东工商学院 信息与电子工程学院，山东 烟台 264005）

针对三维点云数据展开处理，提出了一种室内环境建筑立面图的快速生成方法。首先将点云数据经过网格中值滤波算法进行数据精简，然后基于抽样一致性算法（RANSAC）建立新的坐标系，并将点云在、、方向进行新坐标系内对齐。去除屋顶和地面后将点云向XOY平面内投影，利用简化的LSD算法检测线段得到墙壁的精确位置。该方法减少了墙面、地面等大平面的检测过程，可以快速得出室内建筑墙壁的平面图。经过实验结果对比，比同类算法速度更快，墙壁位置定位更精确。

RGB-D；RANSAC；概率密度；室内环境

1 研究现状

场景理解是人工智能的重要研究方向，在机器人导航、虚拟显示、自动驾驶及遥感测量等领域有广泛的应用。随着计算机视觉、人工智能技术以及机器人技术的发展，越来越多学者针对三维场景理解的关键技术展开了大量研究[1-3]。场景理解是机器人对场景进行推断和认知的过程，目前主要包含目标检测与识别、物体之间关系推理以及语义分割等内容。

根据场景理解的对象不同大致可分为室内室外两大类，室外场景主要针对道路、汽车、行人等对象；室内场景主要包括地板、墙面、天花板、桌子、椅子、沙发、床、衣柜、箱子等基本要素和其他杂物。

根据数据来源不同，对室内建筑的理解研究大致可分为三类：①以图像为对象。徐风尧等[4]利用深度学习模型对室内楼道环境分析，将楼道环境对象分为路、门、窗户、消防栓、门把手和背景六类，实现了对象的分割与识别。刘天亮等[5]提出了一种由粗到精的室内场景空间布局估计方法，采用VGG-16全卷积神经网络对彩色图像进行处理，预测了室内的布局类别。②以激光点云三维数据为对象。IKEHATA等[6]根据点云计算视点空间，进行分割优化后提出了室内环境空间结构模型。贾小凤等[7]利用点云数据进行了精细化建模。③图像与点云的结合。GUPTA等[8]利用卷积神经网络（CNN）在杂乱的RGB-D图像中识别了场景内容（桌、椅、床等），估算目标对象的位置并在数据库中检索对应的模型以替换掉数据不完整的目标。代具亭等[9]提出了一个基于RGB-D数据的场景语义网络，提高了语义分割的准确率。

本文主要针对RGB-D数据的室内场景展开研究。目前研究中，利用RGB-D点云数据进行室内环境的理解有以下三个难点：①室内环境比较复杂，杂物比较多，相互之间可能存在遮挡，此时物体因为遮挡导致信息不全难以识别； ②玻璃窗户、镜面或其他非漫反射的部分难以获得较好的三维点云数据，对环境理解造成较大的干扰；③大范围环境内采集的数据噪声较多，点云碎片化严重，对场景分割和理解带来很大的困难。室内环境三维点云如图1所示。

图1 室内环境三维点云

对图像的理解可以靠大量的标注样本数据库进行神经网络学习加以分类，而利用点云数据完成室内环境理解的研究则难以使用此类方法，因为点云是离散的点，难以进行标注，深度学习的方法在此并不适用。因此在本文中利用几何和统计学的方法研究点云的理解问题。

在研究中发现：如果能将点云中的屋顶、地面、墙壁首先识别并分离出来，即可得到建筑的总体格局，也可对每个房间独立分析；在去除屋顶和地面后大部分的家具或其他障碍物的点云失去了连接的部分，自然被独立出来。

通过以上两点可知，墙壁的识别是室内环境分析的突破口。本文即从墙壁的特征着手，将三维点云经过滤波、降维、坐标转换、形态学计算等过程，最终提取出室内环境的建筑平面图。

2 算法过程

本文采用了Satoshi Ikehata的数据，其中apartment1部分共分为16个空间，每个空间由多幅RGB-D数据经过ICP算法进行了整合，形成了一幅全景数据。每个空间约300 000个点。每个点包含了height、width、、、、red、green、blue、x、y、z、intensity 12个分量。其中、、为三维坐标值，red、green、blue为点的颜色分量，x、y、z为该点的法向量，intensity为点的灰度值。

2.1 基于网格的点云滤波

在获取点云数据时，由于设备精度，操作者经验环境因素带来的影响，以及电磁波的衍射特性，被测物体表面性质变化和数据拼接配准操作过程的影响，点云数据中不可避免出现一些噪声。在点云处理流程中滤波处理作为预处理的第一步，对后续的影响比较大。点云滤波过程将点云数据中的孤点、噪点、孔洞等识别并去除，将点云中的数据精简压缩，减少运算量，才能够更好进行配准、特征提取、曲面重建、可视化等后续处理。常用的点云滤波处理算法包括Bilateral双边滤波、Gaussian高斯滤波、条件滤波、直通滤波、基于随机采样一致性滤波等。

本文中采用网格中值法进行滤波，依据点云范围建立三维网格，网格疏密可根据精简比例调整。统计落在各网格内的点，并计算平均值和中值。网格法点云滤波如图2所示。在三维网格内利用中值点（图2中黑点所示）代替网格内所有点。网格内几何中值点可由以下公式确定：

函数表示两点间的距离，具体为：

式（1）中：i坐标为（i，i，i），j坐标为（j，j，j）。原始数据为4 933 156点，经过该方法精简后为3 197 368点，为原来的64.8%。

图2 网格法点云滤波

2.2 点云坐标系对齐

基于RANSAC算法的点云坐标对齐如图3所示。原始数据中，点云坐标系与世界坐标系有一定偏差，如图3（a）所示。为了方便后续的数据处理，在此对数据进行对齐处理。根据Manhattan假设，室内环境可认为存在于、、三方向垂直的坐标系中，在此寻找点云数据的、、方向，并建立旋转矩阵使点云坐标系与世界坐标系对齐。

新坐标系可由如下方法获得：首先选择z>0.9的点，采用随机抽样一致性方法（RANSAC）确定轴向量。向量与所有点的法向量相乘，找到与向量垂直的两个方向，选其中之一为方向。向量与向量叉乘，计算得出与、相互垂直的正交方向，得到点云坐标系--。

根据公式（1）将点云旋转，使点云坐标系和世界坐标系重合，新坐标new如图3（b）所示，可以看出点云坐标系与世界坐标系达成了一致。

图3 基于RANSAC算法的点云坐标对齐

2.3 直线检测与点云抽取

将点云投影到面，把数据维度从3D降到2D，大大降低了计算复杂度O。从几何角度看，点云数据投影到面后，墙面处聚集的点较多，投影点的密度也较大。天花板或地面投影后点分布较为均匀，密度也较小。利用该特征可以把墙面与天花板分割开。

通过建立坐标直方图来去除地面和天花板点云。然后利用简化的LSD方法检测直线段，采用下面两个步骤完成线段的检测与融合：①梯度和方向计算。计算各点梯度值，将点按照梯度值排序，梯度值越大即具有显著边缘特性的点作为种子点，把梯度划分成20个等级，以种子点开始从梯度最高的等级依次向下搜索，直至所有点变为USED。②直线区域增长。由种子点搜索角度满足并且状态为UNUSED的点（八邻域）形成直线区域。邻域内在角度承受范围 （﹣11.25～11.25°）内满足整个区域的方向角的点加入到这个区域。

检测结果如图4所示，图中红线为检测到的线段，线段所在的位置即代表墙壁立面点云的位置；黑点为墙壁立面在坐标系的投影点。

图4 检测结果对比

从图4可以看出，线段几乎覆盖了所有的投影点，检测结果较为完整。

在获取墙壁直线图后，根据坐标位置可抽取到对应的立面点云如图5所示。

图5 墙壁立面点云

3 实验及结论

数据中有3 135 466个点，在笔记本i7-6700 CPU+16G RAM+MatlabR2015平台上运行。Ikehata的结果得到的点比较多，但同时保留了较多的噪点，运用本文方法得到了大部分墙壁的结构，噪点比较少。Ikehata用时76.25 s，本文用时16.45 s，时间仅为原来的1/5。从效率来看，本文方法速度更快；从提取效果上看，采用本文方法的噪点减少了很多，且能识别出房屋建筑的主要结构。经验证，减少的噪点大部分是玻璃等物品的镜面反射所引起的。

本文基于Manhattan假设对室内环境点云进行了分析，通过滤波、坐标对齐和直线检测等步骤提取了建筑立面结构，算法速度更快，检测的线段很好地反映了建筑立面所在的位置与结构。根据此结果可迅速建立三维模型图。

［1］PHAM Q，HUA B，NGUYEN T，et al.Real-Time progressive 3D semantic segmentation for indoor scenes［C］//IEEE Winter Conference on Applications of Computer Vision，2019.

［2］CHEN Y，MENSINK T，GAVVES E.3D neighborhood convolution：learning depth-aware features for RGB-D and RGB semantic segmentation［C］//International Conference on 3D Vision，2019.

［3］HU Y，CHEN Z，LIN W.RGB-D semantic segmentation：a review［C］//IEEE International Conference on Multimedia & Expo Workshops，2018.

［4］徐风尧，王恒升.移动机器人导航中的楼道场景语义分割［J］.计算机应用研究，2018，35（6）：1863-1866.

［5］刘天亮，冯希龙，顾雁秋，等.一种由粗至精的RGB-D室内场景语义分割方法［J］.东南大学学报（自然科学版），2016（4）：681-687.

［6］IKEHATA S，YANG H，FURUKAWA Y.Structured Indoor Modeling［C］//2015 IEEE International Conference on，2015.

［7］贾小凤，吕栋，姜传苓，等.基于激光点云数据的室内精细三维模型建立［J］.北京测绘，2018（11）：1281-1284.

［8］GUPTA S，ARBELAEZ P，GIRSHICK R，et al.Aligning 3D models to RGB-D images of cluttered scenes［C］//2015 IEEE Conference on Computer Vision，2015.

［9］代具亭，汤心溢，刘鹏，等.基于彩色-深度图像和深度学习的场景语义分割网络［J］.科学技术与工程，2018（20）：286-291.

TP391

A

10.15913/j.cnki.kjycx.2020.01.066

2095－6835（2020）01－0159－03

闫龙（1981—），男，山东泰安人，博士，副教授，主要研究方向为机器视觉与智能制造。张伟，男，硕士研究生。

山东省教育厅高等学校科技计划（编号：J17KA068）资助

〔编辑：严丽琴〕