基于增强学习的航材二级库存优化配置研究
2019-09-02徐常凯周家萱杜加刚
兵器装备工程学报 2019年8期
关键词:策略
徐常凯,周家萱,杜加刚
(空军勤务学院 航材四站系, 江苏 徐州 221000)
如何对航材库存进行科学的优化配置,寻求航材保障良好率与航材保障经济性之间的最佳平衡,是航材库存优化的重要问题。空军后方仓库编制体制调整后,航材库存从空军、战区空军、航材股三级变为器材仓库和队属仓库二级,解决二级库存体制下的航材库存优化配置,成为航材库存决策人员的现实难题。陈砚桥等[1]使用蒙特卡罗方法求解了允许横向供应的库存系统器材配置问题;刘少伟等[2]利用排队论系统,建立了可修件两级库存模型;Engin Topan等[3]通过分支与定价算法求解了多备件两级库存系统模型。本文提出一种基于马尔科夫决策过程建模,利用强化学习的策略迭代方法求解,寻求保障效率与保障经济性的平衡,最终得到在航材不断消耗过程中的库存优化配置模型。
1 MDP与策略迭代理论
1.1 马尔科夫决策过程
马尔科夫决策过程是描述动态系统决策优化的数学模型,通常由五元组{S,A,Psa,γ,R}表示,其中S表示状态空间,A表示行动空间,Psa为在状态s下执行行动a的概率,γ为折扣因子,R为奖励函数[4]。一个动态马尔科夫决策过程可表述为:从状态空间S中的某一状态s0开始,在行动空间A中选择行动a0执行后,马尔科夫决策过程的状态随机转移到状态s1,记为s1~Ps0a0,类似的,整个决策过程可表示如下[5]:

定义策略π是由状态到行动的映射,即π∶S→A,当决策过程处于状态s时,执行行动a=π(s)时,定义价值函数Vπ:
Vπ(s)=E[R(s0)+γR(s1)+γ2R(s2)+…|s0=s,π]
(1)
对于某一确定的策略π,其价值函数满足Bellman方程为[6]:……p>
登录APP查看全文
