郑炳文

（胜利油田海洋采油厂，山东 东营 257000）

基于改进Q－学习的导航知识获取算法研究

郑炳文

（胜利油田海洋采油厂，山东 东营 257000）

基本Q－学习算法总是利用当前最优策略进行动作的选取，这样容易陷入局部最优。文章在模拟退火强化学习基础上提出了基于探索区域扩张的Q－学习，加入原地探索策略，提高了找到目标的效率；引入了探索区域扩张策略，避免了初始时在整个环境中加入探索的盲目性，提高了学习效率；加入算法的自主学习结束条件，避免了找到最优路径后的重复学习，节省了学习时间。仿真实验验证了算法的有效性。

强化学习；Q－学习；探索区域扩张；模拟退火；神经网络

1 机器学习背景

移动机器人要在未知环境中安全、可靠地完成指定任务，除了应具有建模、定位、规划、运动等基本能力外，还应能够处理各种突发情况，逐渐适应环境，提高工作效率，这就要求其导航控制系统具有灵活性和适应性。近年来，机器学习已成为人工智能和机器人学的一个研究热点，并且取得了不少突破性进展，其中包括神经网络算法研究、模糊逻辑算法研究、进化学习算法应用研究、统计学习特别是支持向量机（Support Vector Machine，SVM）理论和算法研究、强化学习理论和算法研究等。上述机器学习理论和方法为复杂和未知环境中的信息提取、环境理解、任务规划和行为决策提供了有效的解决途径，应用机器学习方法来实现未知环境中移动机器人导航控制器的设计和优化，已成为近年来移动机器人导航控制技术的研究热点。……