基于马尔科夫决策过程的WSNs节点检测方法*

2021-07-15吕孟伟关业欢

传感器与微系统 2021年7期

刘宏, 吕孟伟, 关业欢

(江西理工大学电气工程与自动化学院,江西赣州 341000)

0 引言

随着网络通信技术与传感技术的快速发展,无线传感器网络(wireless sensor networks,WSNs)[1]已广泛应用于制造业、物联网等许多领域。WSNs中的传感器节点大多部署在恶劣或无人值守的环境中,可能遭受到外界攻击或自身引起异常而致使故障,无法做出正确行为,最终导致传感器网络不能正常运行。因此,如何评价且识别网络节点状态的检测技术[2]已成为管理传感器网络的重要内容。

目前已得到国内外研究者的重视。文献[3]提出一种基于非负矩阵分解(NMF)的方法应用于WSNs节点故障检测,通过模拟节点正常行为的特征来决定是否存在偏离正常行为的特征；文献[4]发明一种基于强化学习(reinforcement learning,RL)的入侵检测方法,对检测系统模拟马尔科夫决策过程(Markov decision process,MDP)模型,采用价值迭代算法求解模型的最优检测策略,但方法针对处理网络节点入侵检测这类复杂问题时所获得最优策略的时耗较长；文献[5]提出一种WSNs故障节点检测算法,通过识别节点序列中违反排名的节点从而找到故障节点,算法可较好地应用于WSNs噪声环境和子序列估计问题。

基于此,本文提出了一种基于MDP的WSNs节点检测方法,通过运用Q-Learning优化算法求解经Option方法分层简化后的MDP模型的最优检测策略来确定出网络内各节点的状态情况,从而达到检测节点的目的。