李琛 李茂军 杜佳佳

摘   要：强化学习作为机器学习中的一种无监督式学习，在实际应用中的难点之一便是如何平衡强化学习中探索和利用之间的关系。在Q学习结合ε-greedy的基础上，提出了一种参数 动态调整的策略。该策略是以学习者在学习过程中各状态下的学习状况为依据，实现参数 的自适应，从而更好地平衡探索和利用之间的关系。同时，引入一种结合了试错法的动作删减机制，对备选动作集合进行"删减"，来提高学习者的探索效率。最后通过迷宫问题的实验仿真，验证了所提方法的有效性。

关键词：强化学习;ε-greedy策略;探索与利用

中图分类号：TP181                                                 文献标识码：A

A Modified Method to Reinforcement Learning Action Strategy ε-greedy

LI Chen，LI Mao-jun？覮，DU Jia-jia

（School of Electrical and Information Engineering，Changsha University of Science

and Technology，Changsha，Hunan 410114，China）

Abstract：Reinforcement learning，as an unsupervised learning in machine learning，one of difficulties problem in practical application is how to balance the relation between exploration and exploitation. To solve this problem，a dynamic adjustment strategyof parameter  basis of Q learning combined with ε-greedy strategy is presented. This strategy is based on the learning status of agent in various states of environment in the learning process，making parameter self-adaptation，to better balance the relation between exploration and exploitation.Meanwhile，an reduction method combiningtrial and error method is introduced to delete the action sets，so as to improve the exploration efficiency of agent. The simulation resultof maze verify the effectiveness of the proposed method.

Key Words：reinforcement learning;ε-greedy strategy;exploration and exploitation

強化学习作为机器学习中的一种无监督式学习，适用于解决序贯决策问题，即学会进行自动决策，且该决策能使问题朝预期较好的方向发展。其原理是通过学习者与外界环境的不断交互，同时根据外界环境给予的评价性反馈去优化自身的行动策略，从而学习到最优行动策略[1-2]。正因如此，强化学习在调度管理[3]、智能控制[4]、智能机器人[5]等领域中得到了广泛的应用。

强化学习被应用至实际问题时，学习者对于外界环境是未知的，所以学习者必须通过探索来获取相关的外界环境知识。因此在选择何种行动策略时，不可避免地会遇到强化学习的难点之一，即探索与利用的平衡[6-7]。过分的探索会影响强化学习的收敛速度，而过分利用会使强化学习容易陷入局部最优解。而目前有两种常见方法用于解决此问题：ε-greedy策略[1]和Boltzman探索机制[1]。……