闻一波 雷菊阳

（上海工程技术大学机械与汽车工程学院 松江 201620）

1 引言

受限玻尔兹曼机［1］（RBM）是一种生成式随机神经网络，网络具有两层结构：可见层和隐藏层，采用层内无连接、层间全连接的方式。因其简单的网络结构和对比散度算法［2］的出现，RBM在分类、特征学习、降维等方面［3～5］得到了广泛应用。但是目前却很少有关于RBM网络结构设计的研究，也没有通用的规则［6］去制定其结构。文献［7］中提出遗传算法优化设计RBM网络结构的方法，该方法使用效果显著，受此启发探索其他方法去设计RBM网络结构。

粒子群算法是一种基于群体的智能优化算法［8］，该算法具有群体智能、内在并行性、结构简单、收敛快速［9］等优点。粒子群算法作为一种进化算法，在处理非线性问题寻优方面有较好的鲁棒性和收敛性。

在制定RBM网络结构时，由于结构只有两层，所以可见层与隐藏层决定模型的复杂度。如果可见层的特征太多造成宁滥毋缺的局面，便会大大增加模型复杂度，倘若过分减少特征反而会导致输入样本包含信息过少，也不利于模型对于数据的学习。隐藏层的作用可以看作是对可见层特征的学习［10］和提取，隐藏层数目设置过大，模型计算过于复杂，太小又无法学习到可见层不同样本的差异，导致最后分类预测效果很差。

综合以上，PSO-RBM主要解决两个问题：一是利用粒子群算法给RBM筛选样本的特征，二是利用粒子群算法对隐藏层数目进行优化选择。

2 PSO-RBM算法设计

2.1 算法过程

粒子群算法作为RBM网络结构的优化设计，首先在搜索空间中初始化种群和速度，然后根据适应度函数计算出种群中不同个体的适应度值，接着利用速度和位置公式［11］进行更新调整。……