基于深度学习的多模态多任务端到端自动驾驶研究
2021-05-17冯宇鹏张裕天
田 晟,冯宇鹏,张裕天,黄 伟,王 蕾
(1. 华南理工大学土木与交通学院,广东 广州 510640;2. 广州市交通设计研究院有限公司,广东 广州 511430)
目前,比较传统的自动驾驶方案是间接感知方法,又称为基于规则的系统[1 − 3]。主要思路是将自动驾驶问题划分为多个子任务来解决,根据人为设定规则做出决策,其优点是较易获取数据,有严谨规则,系统可解释性强,缺点是系统复杂、计算量大和对硬件要求高[4 − 6]。
基于深度学习的端到端方法,通过采用监督学习的方法学习人类驾驶动作,建立传感器与驾驶动作之间的直接映射关系[7 − 9]。2005 年,Lecun等[10]基于端到端学习利用智能车进行了野外避障研究,构建了具有6 层卷积神经网络的端到端模型。2016 年,NVIDIA 通过采集实车数据训练了一个卷积神经网络模型,该模型能够根据前置摄像头传输的图像得出转向命令,经实车路测,证明了端到端控制方法的可行性[11]。
Xu 等[12]进一步提出了 FCN-LSTM(Fully Convolutional Network-Long Short Term Memory,全卷积网络长短时记忆)的网络架构,增强了模型对场景的理解能力,实现了对离散或连续的车辆动作进行预测。Chi 等[13]采用ConvLSTM(Convolutional Long Short Term Memory,卷积长短时记忆)神经网络进一步提高了端到端模型对自动驾驶车辆方向盘转角的预测精度。Dosovitskiy 等[14]在Carla 上通过模仿学习训练端到端自动驾驶模型。
端到端方法与间接感知方法相比,能够有效减少系统复杂度。当前端到端自动驾驶系统的研究方法主要是使用卷积神经网络直接预测方向盘转角,存在着自动驾驶控制的局限性。本文主要……