APP下载

智轨电车智能驾驶技术展望

2020-08-03冯江华胡云卿袁希文潘文波

控制与信息技术 2020年1期
关键词:电车激光雷达语音

冯江华,胡云卿,肖 磊,袁希文,潘文波,林 军,刘 悦

(中车株洲电力机车研究所有限公司,湖南 株洲 412001)

0 引言

智轨电车实现了路径感知、运行轨迹跟踪控制、前方障碍物检测、周界雷达防撞及360°环视等功能,在类轨道运行方面具备自主智能能力,并已成功商业化应用。随着传感器技术、通信技术、控制技术、计算机技术的不断进步,智轨电车及其快运系统未来将在智能化方面进一步发展,而智能驾驶技术则是其中的重要发展方向之一。

智能驾驶是指通过搭载先进的传感设备,基于专用硬件和先进算法,使车辆具备环境感知、智能决策、协同控制及执行的能力,最终实现车辆智能、舒适、安全且高效的行驶。在汽车行业,智能驾驶源于2004年美国国防部高级研究计划局(DARPA)举办的智能车挑战赛。目前,国内外各大汽车厂商(如丰田、特斯拉、沃尔沃、东风、上汽及吉利等)以及诸多高科技互联网公司(如谷歌旗下Waymo)都投入了巨资,主要通过高性能传感器、先进算法和安全硬件平台等手段来提升车辆自身的智能化水平,且近年来逐渐开始向基于5G/V2X的网联化方向发展。为促进汽车智能驾驶技术的发展,我国已在多地(如上海、重庆、武汉、长沙及深圳等)建成了智能驾驶测试示范区。在轨道交通领域,智能驾驶的技术研究与工程实践已有近百年历史,最早可以追溯到1927年在英国伦敦开通运行的10.5 km无人驾驶邮件地铁。智能驾驶在轨道交通领域的发展之所以远早于汽车行业,一方面,这与轨道交通大运量载客、专属路权、有导向轨、有计划、有组织和有预案的基本特征有关;另一方面,是因为其信号系统(这也是轨道交通智能驾驶系统的核心)具有独有性。时至今日,国内外装备了基于通信列车控制系统(communication based train control system,CBTC)的地铁列车均已具备自动驾驶(automatic train operation, ATO)和自动折返能力,按照标准IEC 62290Railway appications- Urban guided transport management and command/control systems,其整体自动化等级处于 GoA2 水平,并且正在向全自动驾驶 GoA4 的目标快速发展。

智轨电车运行于开放道路环境,具有类轨道运行特性及轨道交通车辆多编组的特点。这种跨界创新设计不仅需同时满足汽车和轨道交通车辆的智能驾驶要求,而且还面临着复杂场景、技术瓶颈、设备安全、法律规范及社会接纳程度等诸多方面的挑战,因此应综合考虑多种影响因素,使智轨电车智能驾驶技术稳步迭代发展,最终实现全无人驾驶。本文概述了智轨电车驾驶场景,依此构建出智能驾驶的技术框架,最后重点阐述了其中具有代表性的4大关键技术,即环境感知、决策控制、人机交互及硬件平台。

1 智能驾驶场景分析与技术架构

1.1 驾驶场景分析

智轨电车驾驶场景的主要特征是路径相对固定(除异常情况外,均按设定线路运行)、环境相对开放(车辆周围可能随时会出现各种车辆或行人)。一方面,在脱离有形钢轨的物理约束后,智轨电车仍保留了诸多典型的轨道车辆驾驶场景,如列车唤醒、自检、出库、站间运行、进站停车、站台发车、清客、折返、洗车及休眠等;另一方面,由于行驶在普通道路上,需要适应随机变化的自然条件(如天气、光线)、路面状态 (如交叉路口、小半径弯道)、交通参与者(包括车辆和行人)、信号指示灯等复杂道路环境,并应对各种突发状况。除此之外,智轨电车还具有许多独特的驾驶场景。以“虚拟道岔”场景为例,传统轨道车辆经过道岔时,依靠地面转辙机完成“刚性”换轨和锁闭任务;而智轨电车则是根据运行计划,在道岔处采用高精度感知和定位技术来实现“柔性”线路选择。再比如,当行驶路径上存在障碍物或发生交通事故时,智轨电车可以被授权变道绕行,但由于其长度超30 m、宽度达到2.65 m,决策临时变道时必须预测其对周界车辆的影响;并且由于其车道的空间裕量远小于普通公路车辆的,因此必须构建全场景的多轴协同转向技术才能实现有限空间的安全及最大化利用。

1.2 智能驾驶技术架构

智轨电车的驾驶场景丰富多样,复杂多变。为实现与其他车辆混行、网络化运行,必须构建相适应的智能驾驶技术架构。图1示出智轨电车智能驾驶技术架构,其涉及车辆端、地面端以及人端。

图1 智轨电车智能驾驶技术架构Fig.1 Intelligent driving technology architecture for autonomous-rail rapid tram

车辆端的底层为具备线控转向/牵引/智慧功能的车体,其次是用于运行智能驾驶软件的CPU/GPU硬件计算平台,之后是用于探测车辆运行过程中外部环境的各类先进传感器,最上层则是核心的传感器信息处理、驾驶决策、运动规划与控制等算法软件。地面端实现通信系统(包含有线通信系统和基于5G和V2X技术的无线通信系统)、调度指挥系统、信号系统和大数据后端平台等多个子系统的深度集成,各系统共享数据、高效联动。通过车辆端和地面端的配合,使得智轨快运系统兼容专用路权与混合路权运行模式,能够在各种场景下实现道口信号优先、虚拟道岔、移动路权的最优配置,使车辆通行效率最大化。此外,架构中还考虑了针对驾驶员的手动驾驶模式(即使车辆达到了高等级的智能驾驶水平,人工介入和驾驶能力仍然是必须保留的),以及针对乘客的多模态人机交互能力,以提升驾驶及乘坐体验。

智能驾驶技术架构需要一系列基础性的智能化技术支撑,其中具有代表性有环境感知、决策控制、人机交互和硬件平台这4大关键技术。

2 环境感知技术

近年来,新型传感器(如激光雷达、毫米波雷达)技术[1-3]及环境感知算法(如多维异质传感器信息融合理论)[4-5]发展迅速,为全天候、全方位的精准智轨电车环境感知系统进一步发展奠定了良好基础。

2.1 新型激光雷达的应用

激光雷达一种是以发射激光束探测目标的位置、速度等特征量的雷达系统,近几年其应用从军用领域逐渐转入到民用领域,被认为是各行业的关键传感技术,目前其在机器人、无人驾驶、定位导航、空间测绘、智慧城市等领域充当着推动者的角色。

激光雷达的优点是分辨率高、测距精度高、抗有源干扰能力强、探测性能好、不受光线影响、体积小、质量轻。在智能驾驶领域,激光雷达主要以多线数的为主,有多种技术路线,其类型主要分为机械式、微镜扫描(micro-electro-mechanical system,MEMS)式、光学相位阵列(optical phased array,OPA)式以及Flash式4种。基于激光雷达的环境检测流程包括雷达点云融合、噪点滤波、降采样、点云聚类及目标跟踪5个步骤(图2)。

图2 激光雷达环境检测流程Fig.2 Lidar environmental detection process

根据图2所示步骤检测,不仅可准确获取智轨电车前方每个目标的位置、速度及尺寸等信息,对障碍物进行持续跟踪,而且还可以配合惯导系统建立基于激光雷达高精度点云的离线地图,并根据实时点云数据进行匹配,实现车辆横向和纵向的精确定位,用于车辆实时导航以及进出站定点定位。采用激光雷达感知车辆前方障碍物信息,其可视化的检测结果如图3所示。

图3 激光雷达障碍物检测效果Fig.3 Lidar obstacle detection effect

2.2 远距离毫米波雷达定制化

毫米波雷达是一种用于测量被测物体相对距离、相对速度和方位的高精度传感器。与激光雷达类似,毫米波雷达早期被应用于军事领域,近几年才开始被应用于汽车电子、无人机及智能交通等领域。

由于现有商业化雷达的性能难以满足轨道车辆运行的安全需求,因此需要对雷达进行定制化开发。定制化的远距离毫米波雷达能对车辆前方界限内的异物进行全天时、全天候地监测,实现长距离(最大探测距离可达400 m)、高分辨(距离分辨率可达 0.2 m、方位角分辨率可达0.3°)的检测并告警。毫米波雷达检测效果如图4所示,其中红框1所示为远离的人,红框2所示为远离的汽车。

图4 远距离毫米波雷达检测效果Fig.4 Long-range millimeter wave radar detection effect

2.3 激光雷达的建图与定位

基于激光雷达的同时建图与定位(simultaneous localization and mapping,SLAM)[1-2]是当前智能驾驶领域技术热点,但是该技术仅适用于空间较小且运行线路闭合的场景(地下车库、车间等),适于智轨电车进站停车场景下应用。

目前基于激光雷达建立离线地图的方案主要分为两类:一类是网格化地图,如基于OctoMap和MVOG等构建的地图,见图5 (a);另一类则直接以三维激光点云构建高精度地图,见图5(b)。地图网格化会带来点云精度的损失;而直接以三维激光点云构建地图方法其精度高,但会带来运算量的增加。目前基于离线地图的匹配定位算法主要分为基于动静态滤波模型的融合定位算法、基于高斯混合模型地图的融合定位算法以及基于特征地物地图的融合定位算法。基于动静模型的定位方法其点云匹配精度低;基于高斯混合模型地图的定位方法只有在建图与定位过程中使用同样的激光扫描仪才能发挥较好效果;基于特征地物地图的融合定位方法计算量大,需要采取各种措施来减少运算量。

图5 离线地图Fig.5 Of fl ine map

在智轨电车的环境感知系统中,为了获取更高的定位精度,建立基于三维点云的高精度地图,更加适合采用基于特征地物地图的融合定位算法,其具体匹配定位流程如图6所示。首先通过高精度激光扫描设备对智轨电车运行路线环境进行数据采集并通过离线数据处理的方式构建结构化的高精度点云地图;其次在车辆上安装商用激光雷达,在运行过程中通过实时获取的激光雷达点云进行特征提取;最后将实时提取的特征与离线的高精度点云地图进行匹配。

图6 基于特征地物地图的融合定位算法Fig.6 Fusion localization algorithm fl ow based on object feature map

2.4 多源感知融合技术

多源传感器融合可以弥补单一传感器的不足,取长补短,达到较好的综合感知效果[3-4]。针对障碍物检测,国内外比较常用的传感器融合方式有激光雷达与机器视觉的融合、毫米波雷达与机器视觉的融合、毫米波雷达与超声波雷达及机器视觉三者间的融合等。图7为未来拟采用的多传感器及其布置示意;图8为多源融合流程,主要包括数据的采集、配准、关联及融合等,最终得到置信度高的目标特征和状态信息。

图7 智轨电车传感器布置示意Fig.7 Sensor layout for autonomous-rail rapid tram

图8 智轨电车多源融合流程Fig.8 Multi-source fusion process for autonomous-rail rapid tram

3 决策控制技术

决策控制是环境感知的后续环节,其涉及驾驶行为决策、局部行驶轨迹规划、列车行驶纵向车速规划及滚动时域优化控制等问题。其中,行为决策和运动规划系统作为整个系统的核心模块,直接影响驾驶安全性、舒适性以及运行效率。运动规划不仅需要结合全局规划的引导信息和行为决策信息,而且还需实时地考虑环境避障约束、车辆模型约束和控制输入约束等问题。

3.1 驾驶行为决策

驾驶行为决策在整个智能驾驶过程中扮演着“副驾驶”的角色[6]。它实时地利用环境感知、导航定位、全局任务等信息进行判断和决策,得到车辆在特定场景下的行为决策命令(如自由行驶命令、跟车命令等),保证车辆运行安全。典型的决策场景包括横向决策场景和纵向决策场景,其中横向决策场景可分为本车道限界内避让和临时跨车道外借道行驶等,纵向决策场景可分为自由行驶、跟车行驶、路口通行、等待、碰撞防护、进站、出站及定点停车等。

3.2 横向运动规划与控制

虽然智轨电车在固定线路运行时无需进行全局路径规划,但智能驾驶领域中的全局路径规划技术(特别是其曲线平滑技术)可指导数字轨道标线的设计,满足车道限界及曲率连续等约束,从而确保横向控制精度。此外,还需考虑车道边缘存在障碍物和车道内占道等场景,并规划车道内避让和车道外借道临时避免碰撞的局部路径,以保证行车安全。当车辆偏离全局路径较大时,需要规划从车辆当前位置到全局路径上的光滑局部路径;当列车经过主线路与支线分道岔点时,需要平滑完成“变轨”动作。因此,未来智轨电车将借用全局路径规划技术来补缺局部轨迹规划功能。

局部轨迹规划的目的是生成车辆后续有限时域内的可执行轨迹,保证车辆沿着参考路径行驶,同时考虑避障约束、上层行为规划命令等[7]。针对运行的结构化道路环境,拟采用基于状态采样的轨迹规划算法,考虑道路几何形状、车辆运动学、静态障碍物和动态物体避障等约束,利用激光雷达、摄像头和RTK-GPS/IMU定位3种模式的导航信息,结合地面调度信息完成局部轨迹规划(图9),其车辆坐标系下局部轨迹规划的轨迹线方程如下:

式中:a0,a1,a2,a3,a4——五次多项式系数。

图9 智轨电车局部轨迹规划Fig.9 Local trajectory planning for autonomous-rail rapid tram

随着智轨电车逐步向全自动化发展,未来还将研究虚拟道岔技术(图10),以兼顾道口、出入库等场景。

图10 智轨电车虚拟道岔Fig.10 Virtual switch for autonomous-rail rapid tram

3.3 纵向运动规划与控制

纵向速度规划考虑车辆准点运行约束、道路条件约束和车辆动力学约束,规划从运行起点到运行终点的速度曲线,保证乘坐舒适性、准点运行及燃油经济性等目标的实现。综合考虑障碍物信息和站点信息,并根据列车行驶路径和驾驶决策,将速度规划问题转化为带约束非线性最优控制问题[8]:

式中:t为时间变量;x(t)为系统的状态向量;x(u)为控制向量;p为输入参数向量;t0为初始时刻;tf为终止时刻;x0为t0时刻状态向量值;ul为控制向量下界值;uu为控制向量上界值;pl为输入参数向量下界值;pu为输入参数向量上界值;J为目标函数(包含终端项Φ0[x(tf),p]和积分项);x(t0)=x0为状态向量初始值等式约束;为第i个约束的终值泛函;Li为第i个约束的过程泛函;i=1, 2, …,m1为m1个等式约束;为m2个不等式约束,i=m1+1,m1+2, …,m1+m2;ul≤u(t)≤uu为控制向量上、下界不等式约束;pl≤p≤pu为输入参数向量上、下界不等式约束;t0≤t≤tf为时间变量上、下界不等式约束。

列车纵向速度规划将预先在仿真环境中进行定性和定量研究,以分析碰撞避免、列车行驶稳定性和乘坐舒适性等关键因素对局部行驶轨迹规划和驾驶决策的影响。图11示出智轨电车纵向速度规划示意。

图11 智轨电车纵向速度规划Fig.11 Longitudinal velocity planning for autonomous-rail rapid tram

智轨电车采用滚动时域优化控制方法[9]进行纵向速度跟踪(图12),其考虑多变量约束,输出期望加速度或者减速度,然后再根据逆向动力学模型将期望加速度转换为可被驱动牵引、制动控制系统执行的牵引或制动级位,从而实现对列车纵向车速的控制。

图12 滚动时域优化控制原理Fig.12 Optimal control principle of rolling time domain

3.4 多学科仿真

智轨电车智能驾驶涉及车辆动力学、控制、图像、雷达等多学科仿真。在决策控制开发模式方面,未来将对运动规划和运动控制模块引入成熟先进的V型正向开发流程。首先进行系统功能设计,通过模型在环(MIL)验证算法的可行性;然后进行目标代码生成软件在环(SIL)和处理器在环(PIL),验证代码质量;最后再采用硬件在环(HIL)仿真验证实际控制器/箱。采用上述V型开发流程,可缩短产品研发周期,在开发早期减少/消除可能的错误及缺陷,节省开支,提高对新需求的响应与适应性等。

快速控制原型(RCP)将采用Speedgoat实时目标机模拟控制器,提供从Matlab和Simulink离线仿真到自动生成代码并下载,实现对软件的快速测试和调整,其测试原理如图13所示。

图13 快速控制原型(RCP)测试原理Fig.13 RCP test principle

HIL分为4部分(图14),其中Nuvo 6108GC软件用于运行感知和决策,Speedgoat软件用于运动控制,dSPACE用于进行车辆动力学实时仿真,Prescan/VTD用于模拟道路场景以及传感器,如图14所示。

图14 HIL测试平台Fig.14 HIL testing platform

4 人机交互技术

目前,智轨电车主要围绕显示器和智能人机交互硬件计算平台开展图像和语音交互技术的研究。

4.1 图像交互技术

针对驾驶员的行为规范、疲劳状态、身份验证等图像识别需求,依托智能人机交互硬件计算平台,自主研发基于深度学习的疲劳监测、人脸识别、抽烟和打电话行为检测等功能[10-11],各种环境下的综合准确率大于90%,达到国内先进水平。图15示出司机疲劳监测显示界面。未来,智轨电车的图像交互技术将从传感器、算法二个维度进行提升,拓展应用场景。

在传感技术方面,将引入远红外热成像、3D双目摄像头等先进传感器,在传统二维光学图像基础上,获取场景深度、温度等信息,为司乘人员生理状态监测提供新的依据,为复杂场景语义理解提供额外的辅助信息。

在算法方面,跟踪最新的3D目标检测[12]、像素级的目标跟踪、姿势识别[13]、视频序列行为识别等先进深度学习图像识别算法[14],提升光线多变、识别目标遮挡、可视环境退化等挑战情景下算法的鲁棒性和准确率,为实际场景的算法落地打下基础。

图15 司机疲劳监测Fig.15 Driver fatigue monitoring

4.2 语音交互技术

语音交互是近年来新兴的人机交互技术。目前在智轨电车上已初步实现语音唤醒、语音识别和语音合成的全流程语音交互功能(图16)。在语音唤醒阶段,车载显示设备在工作状态下全程监测司机声音,一旦检测到设定唤醒词,即刻让设备直接进入等待识别状态,开启语音交互第一步。在语音识别和合成阶段,司机对显示设备说出操作指令(即“命令词”),设备随即做出相应的反馈;与此同时,语音合成功能也给显示器配上了“嘴巴”,它能提供多种特色的人声发音供选择,其合成音在音色、自然度等方面的表现均接近人声。该语音交互系统为司机提供良好的交互体验,车载环境下其综合识别率不小于85%,达到目前国内领先水平。

图16 语音人机交互功能组成Fig.16 Function composition of human-computer voice interaction

未来,智轨电车的语音交互技术将会向语音降噪、语义理解和声纹识别等方向发展。语音降噪方面,将结合司机室及乘客区域实际噪声环境特征,开发具有多噪声环境下鲁棒性的分布式语音降噪软硬件模块,为语音识别提供品质良好的音频信息输入信息。语义理解方面,将结合司机室及乘客区域的语音交互需求,例如导航、通信、影音娱乐等,提供更加丰富、灵活、自适应能力强的语义表达及对话策略;并配合使用语音识别及合成技术,达到更加自然流畅的人机对话体验效果[15-16]。声纹识别方面,将结合其他生物识别方式进行司机身份验证,通过抽取说话人语音中的声纹特征与已登记的声纹模型进行比较,对司机进行身份校验和鉴别,实现“一对一验证”,从而提高身份识别的准确性。

4.3 多模态交互技术

针对智轨电车,其人机交互技术目前主要研究图像交互和语音交互;未来,智能人机交互系统将打通车载平台、边缘计算、深度学习等关键环节,实现人机交互技术的车地联通化和标准化。在交互方式上,人机交互技术将向多模态交互方式演进,通过文字、语音、视觉、动作、环境等进行多感官融合发展。因此,在图像和语音识别技术基础上,引入智能穿戴(手环、VR眼镜、降噪耳麦等),实现多维度的生理状态监测、手势交互[17-18]、增强现实互动、裸眼3D显示等多模态交互技术,如图17所示。

图17 多模态交互方式Fig.17 Multi-mode interaction

5 硬件平台技术

智轨电车目前直接采用符合轨道交通标准的嵌入式触摸屏显示器以及G300系列机箱作为硬件计算平台。

5.1 大屏显示

一体化大屏已成为当前高端车辆的主流显示交互平台。针对智轨电车,专门设计了双屏融合的一体化大屏(图18),系统具备双冗余功能,通过自诊断和互诊断技术,使两套系统独立工作、互不干扰。同时,采用支持双屏独立显示的大尺寸、条形液晶面板和电容触摸屏,其分辨率可达2 560×1 024,画面清晰,交互灵敏,可满足多样化的应用需求。

图18 双屏融合的一体化大屏Fig.18 Integrated large screen with dual-screen

未来,智轨电车将采用三屏融合的一体化大屏(图19)显示代替传统的三屏(网络屏幕、信号屏幕、监控屏幕)独立显示,让司机控制台更加简洁、美观;同时也将搭配语音交互及图像处理功能,实现“能听会说、能看会认”,大幅提升了用户体验。

图19 未来智轨电车司机控制台Fig.19 Driver, s console for future autonomous-rail rapid tram

5.2 HUD显示

抬头显示器(head up display, HUD)是一种将信息投射在驾驶员前方玻璃上的显示技术,于20世纪80年初开始从航空领域被引入应用到汽车领域,其可改变“抬头看路、低头看屏”的驾驶现状,极大地提升司机驾驶安全性。智轨电车车体长、行车环境复杂、驾驶难度大,因此HUD的应用非常有意义。

目前在汽车领域,批量装车的HUD产品(图20)主要是针对轿车应用而开发的,主要有C(组合镜)型和W(风挡)型两种,且大多采用薄膜晶体管(thin fi lm transistor, TFT)技术,支持关键行车信息、导航信息和部分多媒体功能的显示,虚像成像距离大约在司机前方3~5 m,图像尺寸较小;而基于数字光处理(digital light procession, DLP)技术,HUD可实现更大的视场角和更远的虚像成像距离。针对智轨电车,将基于DLP技术研制W型HUD,实现智轨电车HUD从无到有的突破;而开展新的光学方案研究设计,则需解决风挡玻璃角度大、玻璃厚、安装位置远以及重影等与小轿车有差异的光学设计难题。

图20 HUD显示Fig.20 HUD Display

5.3 计算平台

计算平台一直向着更高性能处理器、更大内存、更快内部通信速度的方向发展。面向智轨电车智能驾驶设计的计算平台分为模块式和机箱式两种。

模块式计算平台(图21)采用模块化设计,外形小巧,稳定性好,主要用于图像和语音等的智能识别。该平台支持Nvidia Jetson Xavier模块和Nvidia Jetson TX2模块,整机通过以太网通信、USB通信、视频通信、音频通信、存储单元、无线通信、4G扩展及蓝牙等接口,实现数据的采集、处理及交互。

图21 模块式计算平台Fig.21 Modular computing platform

机箱式智能计算平台(图22)采用具有智能融合特征的“车脑系统”作为列车控制平台,平台基于人工智能、5G、时间敏感网络(TSN)等新型的信息通信技术,实现对现有分散控制系统的融合。

图22 机箱式计算平台Fig.22 Box-type computing platform

6 结语

本文基于智能化新技术快速发展的现状,概述了以智轨电车为基础、同时兼顾车辆端和地面端的智能驾驶技术框架,并重点阐述了环境感知、决策控制、人机交互以及硬件平台4大关键技术的发展和应用趋势,为智轨电车的车型研发与改进提供了参考依据。

猜你喜欢

电车激光雷达语音
法雷奥第二代SCALA?激光雷达
基于激光雷达夜间观测提取重力波方法的定量比较
魔力语音
基于MATLAB的语音信号处理
基于MQ3与MP3的价廉物美的酒驾语音提醒器
基于激光雷达通信的地面特征识别技术
对方正在输入……
基于激光雷达的多旋翼无人机室内定位与避障研究
由电车引出的故事
电车奶奶