周立军，刘 凯，吕海燕

(海军航空大学 航空基础学院，山东 烟台 264001)(*通信作者电子邮箱jungle730@163.com)

0 引言

目前，以受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)为基础的深度学习模型已经广泛应用于数据维度处理[1]、图像处理[2]、文本检索[3]以及时间序列预测分析[4]等机器学习领域。

RBM的训练为无监督训练方式，此类训练存在的重要问题是学习特征的同质化[5-6]，即RBM易受训练数据维度间共有因素的影响，导致提取的特征过于相似，从而影响模型对数据的泛化能力。为抑制这一问题，通常采用两种方法。一种是改进模型结构。如：文献[7-8]将类别信息引入模型中，设计了三阶受限玻尔兹曼机；文献[9]在RBM的基础上增加了部分可见单元间连接，从而抑制数据共有特性；文献[10]设计了网络结构的随机衰减机制(dropout)；文献[11]在dropout随机网络结构基础上进一步提出了多RBM组合模型，这类方法通过训练数据额外信息的加入，抑制数据维度间同有特性的影响，但存在的问题是，结构的优化多以特有模型为基础，对于其他无监督训练方式模型较难适用。另一种是设计优化策略优化模型训练过程，优点为优化策略易推广至其他无监督训练模型，具有一定的适用性。例如文献[12-14]将模拟退火、遗传算法等全局优化方法引入到RBM等无监督训练中的吉布斯采样内，改善模型训练效率。文献[15-19]对训练目标进行优化，引入多种正则化因子：文献[15]限定隐单元平均激活概率与稀疏度系数的2范数；文献[16]提出基于交叉熵的稀疏惩罚因子；……