刘利军, 王 州 , 余 臻

(1.厦门大学航空航天学院, 厦门 361101; 2. 厦门大学深圳研究院, 深圳 518057)

1 引 言

随着全球人口的快速增长,以及城市化进程的发展,专家预计21世纪的城市人口将急剧增加.当务之急是城市有效地管理其基础设施以应对这一问题.设计现代化城市时,一个关键的考虑因素是开发智能交通管理系统.交通管理系统的主要目标是减少交通拥堵.高效的城市交通管理能够节省时间和财务,并减少二氧化碳等大气污染物排放到大气中[1].已经有许多学者提出方案解决这个问题[2].主要道路的交叉路口一般是通过交通信号灯管理.低效率的交通信号灯控制会导致许多浪费,增加车辆发生事故的风险[3]. 现有的交通灯控制信号按照固定程序不考虑实时交通流量,效率低.因此，研究人员提出了许多改进方案,这些方案可以分为三类:第一类是预定控制程序,参考历史数据制定交通信号切换时间; 第二类是利用传感器检测来往车辆,用以延长或缩短信号切换时间; 第三类是自适应信号控制,根据交叉路口的当前状态自动切换[4].本论文对第三类控制方法展开研究,利用深度强化学习方法设计一种十字路口交通信号智能控制方法.

近年来，很多研究者结合深度学习和强化学习技术来处理复杂的优化问题,例如Atari 2600游戏[5],围棋[6]等.1997 年Thorpe[7]首次将强化学习的方法应用到交通信号控制,大家开始意识到强化学习为解决非线性、不确定性的复……