王建军,刘玉林

(河北经贸大学现代教育技术中心，河北 石家庄 050061)

基于强化学习的自适应中间件在线更新机制研究*

王建军,刘玉林

(河北经贸大学现代教育技术中心，河北 石家庄 050061)

自适应中间件框架一般根据预先定义的策略、按照监控、分析、决策、执行的流程实现对开放可变系统的闭环控制。但是，传统的自适应框架基于离线的闭环控制，即在提供自适应服务的同时，自身的决策模型不能随实时的环境变化而更新。针对该问题提出一种基于强化学习的自适应中间件的在线更新方案，解决自适应策略的冲突消解、系统实时效用评估问题，并设计一种基于强化学习的自适应策略在线学习更新方法，增强了自适应中间件的智能性、灵活性和应变能力。最后实现了相应的支撑系统OUSAM并在其上验证了该机制的有效性和可行性。

自适应中间件；在线更新；智能决策；强化学习

1 引言

软件中间件通过屏蔽底层差异，为软件开发者和普通用户提供稳定贴切的服务。然而，随着软件系统的日益复杂、计算平台的多样化以及用户需求的不断变化，软件中间件也由传统的静态、封闭逐步走向开放、动态、分布。这就要求中间件能根据内外环境变化以及用户的需求对所支撑的业务系统进行实时调整演化，以达到用户目标和较好的性能指标。自适应中间件技术应运而生，有关自适应中间件的理论也正受到研究者的重视。自适应中间件是一种在动态、开放的环境中对业务软件上下文自动进行感知，决策以对系统进行演化，提升性能的中间件系统。……