APP下载

基于Yolov5的快速双目立体视觉测距研究

2021-07-20张仲楠霍炜廉明杨磊

关键词:目标检测深度学习

张仲楠 霍炜 廉明 杨磊

摘要:  針对传统双目测距方法存在的需要对摄像头进行标定、立体匹配算法时间复杂度高等问题,本文主要对快速双目立体视觉测距进行研究。给出了双目测距原理,提出了一种基于Yolov5的目标检测算法和径向基函数神经网络相结合的双目测距方法,建立了基于径向基函数神经网络的距离预测模型,并采用神经网络中的径向基函数神经网络进行距离预测。实验结果表明,经过训练的优化模型,能实时目标检测、快速计算出目标距离,实时性大幅增加,预测距离的精度可达977%。同时,径向基函数神经网络与卷积神经网络相结合的方法,在双目测距中具有速度快、精度高的特点。该方法无需对摄像头进行标定,充分利用目标检测得到的信息,简化图像匹配算法。该研究对自主移动机器人和无人驾驶汽车具有重要意义。

关键词:  目标检测; 双目立体视觉; 深度学习; Yolov5

中图分类号: TP391.41  文献标识码: A

2.2 Yolov5目标检测与特征提取

Yolov5[16]相比于Yolov3[1718]和Yolov4[1920]具有更快的速度,占用更小的内存空间和更高的准确率。使用配置环境更简单的PyTorch生态系统,在Colab notebook上运行Tesla P100,速度可达140 帧/s。本实验选取灭差、面积比和类别标签作为Yolov5模型的输出特征。

将双目摄像头获得的图像进行Yolov5处理,得到可视化图像,并以图片左上角为原点,水平向右为x轴正方向,竖直向下为y轴正方向,以像素为单位建立图像坐标系。Yolov5目标检测输出示意图如图5所示。

3 基于径向基函数神经网络的距离预测模型

本实验采用神经网络中的径向基函数神经网络进行距离预测。将表1中得到的输出特征作为径向基函数网络的输入特征,其输出特征是物体与相机的距离,已知灭差、面积比重、长、宽、高5个特征预测距离,这

本数据中选择中心点(记忆样本),利用聚类算法,得到中心点;二为监督学习,输入样本经过RBF径向基神经网络,将求得的预测距离与实际距离之间误差进行权值调整。对全部534个样本拆分成2个Batch,每个Batch有267个样本,共训练100个Epoch,对训练过程可视化,损失函数与准确率随迭代次数变化曲线如图8所示。

由图8可以看出,损失函数一直在减小,说明径向基函数神经网络已经很好的拟合了预测距离的非线性函数。同时,准确率在增大,并随着训练的Epoch的增大,逐渐趋近于100%。

4 实验结果

本实验将每个样本的实际距离、预测距离和误差进行对比,部分预测值与实际值对比结果如表2所示。

由此可以计算出,全部534个样本的均方误差为27%。在不同硬件平台下,双目测距方法的运行速度如表3所示。由表3可以看出,在型号为CPUi78550U的环境下,速度为21帧/s,使用1张英伟达显卡RTX 1080Ti,其速度可实现43帧/s,该速度可以满足实时性要求。

5 结束语

本文提出了一种基于Yolov5的目标检测算法和径向基函数神经网络相结合的双目测距方法。由于RBF径向基函数神经网络运算量较小,所以将Yolov5与RBF结合后的推理速度与Yolov5比相差不大,保证了实时性,同时,因为RBF径向基函数神经网络可以拟合任意复杂的非线性函数,所以预测距离的精度得以保证。由实验数据可知,经过学习训练之后,预测距离的准确程度与传统的像素匹配方式预测距离相比,更加便捷,预测均方误差仅为27%,实时性接近于Yolov5。本实验存在的不足之处是采集的数据集全部为单个目标,即双目摄像头拍摄的场景中只有一个目标物体,对于多目标物体的场景测距问题解决方法与单目标物体场景类似,但对于多个物体的边框匹配需要引入一些匹配算法,这也是本实验今后深入研究的方向。

参考文献:

[1] 孔令富, 李林, 张广志.  一种并联机器人双目主动视觉监测平台避障方法的研究[J]. 燕山大学学报, 2009, 33(3): 189193.

[2] 曾德怀, 谢存禧, 张铁, 等. 行走机器人的超声波测距系统的研究[J]. 机械科学与技术, 2004, 23(5): 613616.

[3] 赵栋, 刘立人, 王吉明, 等. 基于光子数目比较的激光测距法[J]. 光学学报, 2006, 26(7): 10911096.

[4] 刘晓龙, 杨广京, 罗杨宇, 等. 嵌入式移动机器人红外路标定位模块研究[J]. 计算机工程, 2013, 39(3): 203208.

[5] 刘科, 谢敬辉, 李卓, 等. 被动式光学测距误差分析[J]. 光学技术, 2005, 31(4): 586587.

[6] 岳荣刚, 王少萍, 李凯, 等. 基于相似原理的新型双目测距法[J]. 光电工程, 2008, 35(4): 6468.

[7] Li H G, Jin M, Zou L Y. A new binocular stereo visual servoing model[C]∥Workshop on Computational Intelligence and Industrial Application, 2008. PACIIA′08. PacificAsia. Wuhan, China: IEEE Computer Society, 2009.

[8] Marr D P T. Cooperative computation of stereo disparity[J]. Science, 1976, 194(4262): 283287.

[9] Veksler O. Stereo correspondence with compact windows via minimum ratio cycle[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2002, 24(12): 16541660.

[10] Lowe D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91110.

[11] Etriby S, AlHamadi A, Michaelis B. Dense stereo correspondence with slanted surface using phasebased algorithm[C]∥IEEE International Symposium on Industrial Electronics. Vigo, Spain: IEEE, 2007: 18071814.

[12] Ryan T W, Gray R T, Hunt B R. Prediction of correlation errors in stereopair images[J]. Optical Engineering, 1980, 19(3): 312322.

[13] Klaus A, Sormann M, Karner K. Segmentbased stereo matching using belief propagation and a selfadapting dissimilarity measure[C]∥International Conference on Pattern Recognition. Graz, Austria: IEEE, 2006: 15.

[14] Wang L, Yang R G, Gong M L. Realtime stereo using approximated joint bilateral filtering and dynamic programming[J]. Journal of RealTime Image Processing, 2012, 9(3): 447461.

[15] Liu X Y, Li T H, Yu G H. Adaptive stereo matching algorithms for color stereo images[J]. Journal of Computer Applications, 2011, 31(1): 163166.

[16] Deng H F, Cheng J H, Liu T, et al. Research on iron surface crack detection algorithm based on improved YOLOv4 network[C]∥2nd International Conference on Artificial Intelligence and Computer Science. Hangzhou, China: Published under Licence by IOP Publishing Ltd, 2020: 2526.

[17] Tang C, Zhang G, Hu H G, et al. An improved YOLOv3 algorithm to detect molting in swimming crabs against a complex background[J]. Aquacultural Engineering, 2020, 91: 102115102124.

[18] Pang L, Liu H, Chen Y, et al. Realtime concealed object detection from passive millimeter wave images based on the YOLOv3 algorithm[J]. Sensors, 2020, 20(6): 16781693.

[19] Bochkovskiy A, Wang ChienYao, Mark Liao HongYuan. Yolov4: optimal speed and accuracy of object detection[C]∥Institute of Information Science Academia. Sinica, Taiwan: CVPR, 2020: 117.

[20] Chen W, Zhong X T, Zhang J. Optimization research and defect object detection of aeroengine blade boss based on Yolov4[C]∥2020 3rd International Conference on Modeling Simulation and Optimization Technologies and Applications. Beijing, China: Published under licence by IOP Publishing Ltd, 2021: 012076012084.

猜你喜欢

目标检测深度学习
视频中目标检测算法研究
行为识别中的人体运动目标检测方法
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现
移动机器人图像目标识别
基于背景建模法的运动目标检测