APP下载

基于激光点云3D检测的车辆外廓尺寸测量研究

2019-10-21朱菲婷

科技风 2019年3期
关键词:卷积神经网络尺寸

摘 要:为了维持良好的车辆生产和交通运输发展,有必要对车辆的非法改装以及超载超限行为进行有力的遏制,车辆外廓尺寸测量则是一种重要识别车辆非法改装的方法。通过提取车辆的激光点云数据,按一定的规则形成对应的点云鸟瞰图,运用深度学习中的卷积神经网络对点云鸟瞰图进行模型训练,使模型对车辆具有快速、准确的识别效果。识别得到的包围框通过坐标像素的转换可求得车辆的长、宽、高,达到车辆外廓尺寸的测量结果,并可转换为3D检测效果。通过试验表明,提出的基于激光点云3D检测的车辆外廓尺寸测量方法测量精度损失较小,检测效率高于传统测量方法。

关键词: 激光点云;车辆尺寸;卷积神经网络;3D检测

近年来,车辆尺寸超限现象严重,由此带来的交通问题频发。车辆外廓尺寸测量技术可以分为人工测量和自动化测量。传统的三维测量大多是人工检测,劳动强度大、效率低,已经无法符合现代化需求。自动化测量效率高,操作简单,大大降低了车辆测量工作的复杂度,目前主要分为三种,分别为三坐标测量机、基于数字图像处理的测量技术和基于激光测量的测量技术。深度学习在物体检测领域已经取得了较好的效果,因此本文提出一种基于深度学习的激光点云3D检测的车辆外廓尺寸测量方法,通过对车辆的检测得到外廓尺寸,且在此基础上进行相应的算法设计和优化。

1 相关技术介绍

1.1 卷积神经网络介绍

卷积神经网络是一种前馈神经网络,它是近年发展起来的对大型图像处理有出色表现的一种高效识别方法。卷积神经网络的基本结构包括两层,其一为特征提取层,用来提取局部特征,其二是特征映射层,每个映射层上面的神经元权值相等。由于卷积神经网络的特征检测层通过训练数据进行学习,所以在使用卷积神经网络时,避免了显式的特征提取,而隐式地从训练数据中进行学习。

1.2激光点云算法现状介绍

基于Frustum的网络在KITTI 数据集中表现出高性能,它使用Point.Net直接处理点云,但是,它需要预处理,因此也必须使用相机传感器,仅将这种方法应用于激光雷达数据是不可能的;相反,周等人提出了一个模型,在网格单元上运行端到端的学习,它是KITTI中仅使用激光雷达数据进行3D和鸟瞰检测的最佳模型,但是速度很低。Chen等人利用手工制作的特征(如点密度,最大高度和代表点强度)将激光雷达点云投影到RGB地图上。但是这种融合的处理时间很长,并且需要辅助传感器输入。

2 基于改进的complex.yolo算法的车辆外廓尺寸测量方法

在本文研究中,采用改进的complex.yolo算法对车辆的激光点云数据进行处理和训练,在对数据进行训练时,向网络中输入标注的激光点云数据图,最终得到识别准确度高的模型权重。将此权重用于车辆的激光点云数据,从而识别车辆的轮廓大小,经过坐标像素的比例转换从而求得车辆的高、宽、长,再通过雷达坐标系和图像坐标系的空间位置,画出车辆的3D坐标。

2.1 complex.yolo网络结构介绍

Complex.yolo使用多视点思想进行激光点云数据的预处理以及特征提取,从而生成一个激光点云鸟瞰图。此算法提出了一个特定的欧拉区域建议网络(E.RPN),通过在回归网络中添加一个虚数和一个真实的分数来估计物体的姿态,成为YOLOv2的3D版本进行点云数据的识别。首先,由64线激光雷达采集的三维点云数据转换为鸟瞰视图的RGB图,覆盖面积为80mx40m,其中,R代表点云密度,G代表物体区域的最大高度,B代表点云的强度,并且减小了单元尺寸来缩小量化误差。然后将此鸟瞰图作为输入,利使用简化的YOLOv2卷积神经网络体系结构,通过复杂的角度回归和E.RPN进行扩展,预测每个网格单元的五个框,每个盒子预测回归参数,实現物体的3D识别。

2.2 数据预处理

本文采用KITTI数据集中的激光点云数据进行算法的训练和测试。KITTI数据集使用激光雷达的坐标系为摄像机视野内的运动物体提供一个3D边框标注,每一个物体的标注都由所属类别和3D尺寸(height,weight和length)组成。为了适应本论文的实现效果,更好的进行角度的回归,将网络的输入鸟瞰图改为1024x1024像素的正方形,而不是原网络的512x1024,并且将雷达数据覆盖范围改为80mx80m,扩大检测范围。且KITTI数据集有8个类别,而本文只需要识别车辆,因此需要筛选出标记为车辆的点云数据进行训练,经自写脚本筛选,一共提取6000张图片,包含车辆类数据标签33261个,分别以类别class、中心坐标x、y、物体的ground truth宽度、物体的ground truth长度、以及物体的旋转角度im、ie顺序排列组成。

利用脚本,对KITTI中保存雷达坐标的bin文件进行物体点云信息的提取,根据论文所述的数据处理方法,提取局部像素点所对应的点云数据的最高高度值,最大亮度值以及局部密度值,将三个通道值合并成一个通道值,形成RGB图像。以下为激光点云RGB图像中6幅例图:

2.3 网络训练

由于本文的输入大小和分类数目与原complex.yolo算法不同,因此输入网络的第一层卷积大小为1024x1024x3,随后都以相同方式改变,其中E.RPN扩展层的大小为32x32x40(5x(6+1+1)=40)。将经过数据预处理的激光点云RGB图像输入修改过的complex.yolo网络,并在backup文件夹中保存训练好的模型。

2.4 模型结果测试

将2.2节举例的6幅图像输入模型结果进行测试:

2.5 误差分析

将检测到的车辆个数以及车辆的尺寸与原车辆尺寸进行对比,统计以上6幅图中的测量误差,如下表所示:

检测车辆个数和车辆尺寸误差较小,在车辆尺寸检测误差允许范围之内。

3 结语

本文主要研究了基于激光点云3D检测的车辆外廓尺寸测量方法,将这种方法用于对公路车辆的识别和测量,结果比较理想。适应于本文结构的complex.yolo算法能在同一时间里识别一定范围内的所有车辆并时时输出车辆所对应的长、宽、高度,基于激光点云3D识别的车辆外廓尺寸测量方法在合理的误差范围内比传统的测量方法速度更快、可进行多车辆检测、效果更好,为检测车辆尺寸开拓了一个新的方法领域,以后的研究可以向着测量其他物体大小以及改善网络结构达到更好的检测效果和更小的误差两方面进行。

参考文献:

[1]陈树东.基于卷积神经网络的车辆检测与车型辨识算法研究[D].电子科技大学,2018.06.

[2]郜雨桐,宁慧,王巍,等.基于卷积神经网络的车辆型号识别研究[J].应用科技,DOI:10.11991/yykj.201803011.

[3]梁春疆.基于机器视觉原理的车辆外廓尺寸在线测量系统[D].天津大学,2015.12.

[4]Martin Simon,Stefan Milz,Karl Amende,Horst.Michael Gross,Complex.YOLO:Real.time 3D Object Detection on Point Clouds,Computer Vision and Pattern Recognition,arXiv:1803.06199(2018).

作者简介:朱菲婷(1993.),女,汉族,浙江绍兴人,攻读吉林大学交通学院载运工具运用工程专业硕士学位,研究方向为汽车安全与车辆智能技术。

猜你喜欢

卷积神经网络尺寸
基于人工智能LSTM循环神经网络的学习成绩预测
基于图像处理与卷积神经网络的零件识别
CIIE Shows Positive Energy of Chinese Economy
基于全卷积神经网络的变压器故障诊断
基于深度卷积网络与空洞卷积融合的人群计数
基于自适应神经网络的电网稳定性预测
三次样条和二次删除相辅助的WASD神经网络与日本人口预测
卷积神经网络概述
佳石选赏
佳石选赏