郑 晔，郭仁忠，马 丁，赵志刚，李晓明

1. 深圳大学建筑与城市规划学院智慧城市研究院，广东 深圳 518060； 2. 深圳市空间信息智能感知与服务重点实验室，广东 深圳 518060

随着我国小汽车持有量的不断增加，交通拥堵逐渐成为城市管理最为棘手的问题之一。城市路网承担了整个城市的大部分交通运输，通过对路网中的关键路口信号灯配时和相位协调能有效提高交通运行效率，是面向智慧城市建设的关键研究内容[1]。传统路口交通信号配时方法通常有两种实现方式：①将道路空间信息作图后通过测量几何信息实现；②建立数学模型寻找目标函数最优解实现。以绿波协调为例，传统方法利用干道上信号灯之间的距离及汽车的行驶的绿波速度构建混合整型线性规划方程，求使绿波带宽最大的方程解[2-5]。上述方法具有以下局限性：①所有车辆都必须以相同速度进行行驶(即绿波速度)，一旦有少数车辆与绿波速度差距较大，将破坏整个队列导致绿波效果差；②传统方法需要发车规律维持相对稳定的速度，如果车流变化大会使计算绿波效果降低。

计算机技术的发展促进诸如模糊逻辑控制[6]、遗传算法[7]、专家系统[8]等机器学习算法引入智能交通领域。在众多机器学习算法中，深度强化学习(deep reinforcement learning，DRL)基于马尔可夫决策理论令智能体在环境中不断做出相应的决策，并对其行为决策进行回报反馈，使智能体在环境中寻找回报值最高的序列决策[9]。智慧交通信号控制系统通过对交通场景中行为向量、状态向量和回报函数的定义，实现交通信号灯的智能化控制[10-12]。……