司彦娜，普杰信，臧绍飞

河南科技大学 信息工程学院，河南 洛阳 471023

1 引言

强化学习是一类介于监督学习与非监督学习之间的机器学习算法，其学习机制灵感来源于人类的学习行为[1]。它通过不断试错累积经验达到学习目的，特别适用于缺少先验知识或高度动态化的优化决策问题，因此被广泛应用在机器人控制[2]、资源优化调度[3]、工业过程控制[4]等领域，并取得了令人瞩目的成果。

经典的强化学习过程中，状态和动作空间都是离散且有限的，通常用表格来存储，值函数也需要通过“look-up table”来获得。然而，实际应用中，多数问题都具有大规模离散或连续状态（动作）空间。若使用查表法，算法的时间和空间复杂度随维数增加而成指数增长，易造成维数灾难（curse of dimensionality）问题。为了解决这个问题，一个比较好的方法就是先对值函数进行参数化表示，然后利用逼近器拟合，称为值函数近似（Value Function Approximation，VFA）方法[5-7]。常见的函数逼近器包括：线性多项式、决策树、最小二乘法和人工神经网络等。

近年来，对于各种神经网络与强化学习相结合的理论和应用研究层出不穷，例如：文献[8]针对连续状态空间强化学习问题，提出了一种基于自适应归一化RBF网络的协同逼近算法——QV(λ)，该算法对由RBFs 提取得到的特征向量进行归一化处理，并在线自适应地调整网络隐藏层节点的个数、中心及宽度，可以有效地提高逼近模型的抗干扰性和灵活性。文献[9]考虑连续状态马尔科夫决策过程，提出了一种基于极限学习机（Extreme Learning Machine，ELM）的最小二乘时序差分算法，在旅行商问题和倒立摆实验中均能用较少的资源获得较高的精度。……