面向序贯决策中异常情景下交互问题处理方法
2021-01-14安敬民李冠宇张冬青
安敬民,李冠宇,张冬青,蒋 伟
(1.大连东软信息学院 计算机与软件学院,辽宁 大连 116023;2.大连海事大学 网络信息中心,辽宁 大连 116026)
0 引言
近年来,随着智能决策和服务推荐的兴起,对多智能体系统(Multi-Agent System, MAS)决策技术的研究成为了人工智能领域的热点和重点问题[1],但因MAS难以解决的维数灾难的问题,使其发展遭遇到了瓶颈。目前,基于个体控制的智能体群集决策求解方法[2]是缓解多智能体决策求解维度过高问题的主要策略,其以机器学习(Machine Learning, ML)作为解决MAS序贯决策的主要方法,并已得到了国内外众多学者的应用。具有代表性的从单智能体的角度研究多智能体交互决策问题的相关研究主要包括基于分散式部分可观测的Markov逻辑网络决策处理方法(Decentralized Partially Observable Markov Decision Process, DEC-POMDP)[3-5]和交互式动态影响图[6-9](Interactive Dynamic Impact Diagram, I-DID)两种方法。Seo等[4]和Grady等[5]提出分散式部分可观测Markov决策过程,将基于Markov逻辑推理的单智能体部分可观测决策扩展到MAS当中,提高了智能体的决策能力,同时由于其全局建模的方式导致存在求解困难的问题;文献[2]提出了基于个体控制的多Agent决策,国内李波等[6]提出I-DID模型精确解法基于BE(behaviorally equivalent)的精确最小模型集合法;文献[7-11]就I-DID的建模和求解提出其近似解法(区别模型更新算法(Discrimative Model Update,DMU)和ε-BE-I);Wu等[12]则利用信息论中的交互信息理论(information-theoretic method—mutual information)提出一种I-DID求解方式MPMI(model pruning using mutual information),通过模型间交互的信息衡量其相关度,并删除弱关系的候选模型,进一步压缩了模型空间和消耗时间,BE、DMU、-BE-I以及MPMI在保证决策效果的同时,降低了计算复杂度(降低了维数),且MPMI具有更高的求解效率。……
