深层神经网络混合剪枝算法在COD软测量中的应用

2021-11-11孙鸿飞王仲平

皮革制作与环保科技 2021年13期

孙鸿飞，王仲平

（兰州交通大学数理学院，甘肃兰州 730070）

随着社会和经济的发展，城市化和工业化的进程提升了人们的生活水平，随之带来的环境保护问题也日益被重视，污水处理作为水环境保护中的关键部分，也受到了越来越多的关注，对出水水质指标的实时监测是排水质量的保证。化学需氧量是以化学方法测量水样中需要被氧化的还原性物质的量[1]。它反映了水中受还原性物质污染的程度，主要是有机物，化学需氧量越高，水中有机物的污染越严重，根据《城镇污水处理厂污染物排放标准》，一级指标A标准的COD最高允许排放浓度达到50 mg/L[2]，如何实时准确地监测这类指标有着重要意义。

为了快速准确并低成本地测量出COD，国内外学者将软测量方法应用到污水处理过程中来，其中以具有优秀处理非线性能力的神经网络为主[3]，目前已取得了不少研究成果。管秋[4]等结合污泥浓度法和神经网络的特点，以能在线监测的ORP、DO、pH值和污泥浓度MLSS为软测量的辅助变量，BOD等做目标变量进行BP神经网络和RBF神经网络的模型，为后续的污水水质研究提供了重要理论和实际意义；李文静[5]等提出了一种基于互信息和自组织的RBF神经网络用于BOD测量，对敏感度较低的神经元进行删除，然后再加以训练，均方差结果表明此软测量模型的有效性较好。目前用于污水处理过程的神经网络软测量方法大多为三层神经网络，然而污水处理基本是露天的环境，单隐藏层的神经网络对复杂极端的天气干扰下表现并不如深层神经网络优秀[6]，由此本文提出一种修剪栈式自编码神经网络，首先堆叠自编码网络，利用逐层广泛和反向传播无监督训练出初始权值，再进行有监督的微调，最终通过OBS剪枝算法对神经网络结构进行修剪，提升网络的快速性和精简性[7]。

1 基于修剪栈式自编码神经网络的软测量模型

1.1 自编码网络

自编码网络是一种只有一层隐藏层的三层神经网络，自编码网络的输入神经元个数与输出神经元个数相同，目的在于重组输入变量的信息是一种无监督学习网络[8]。为了达到重构的目的，自编码网络选取反向传播算法进行训练权值和偏置。

1.2 栈式自编码神经网络

栈式自编码网络是由堆叠自编码网络而成的神经网络[9]，从输入层开始，每相邻的两层构成一个自编码网络，前一层的自编码网络的输出作为后一层自编码网络的输入。网络是采用逐层广泛算法来预训练，每次只训练一层的参数，通过无监督训练得到最佳权值和偏置，当一层参数训练完成后才开始下一层，直到所有层的参数训练完，在上述预训练结束得到初始权值和偏置后，加入原始数据标签，利用反向传播算法对其进行有监督训练，此过程一般称作“微调”，这样整个训练过程可以有效地避免随机化初始参数容易陷入局部最优解。

1.3 OBS剪枝算法

OBS是一种基于Hessian矩阵的剪枝算法[10]，分析权值的扰动对误差的影响，首先通过将误差函数泰勒展开：

E是训练集的训练误差，w是神经网络中的权值和偏置参数，δ是扰动项，是Hessian矩阵，是第三阶项和所有高阶项。在OBS剪枝算法中，目的是将其中一个参数设置为0，用wq表示，在迭代中最小化δ E，由此得到优化问题：

1.4 软测量模型的建立

本研究选取辅助变量从目标变量化学需氧量的相关变量和采集的难易程度考虑，选取了以下6个辅助变量：流量（Q）、悬浮物（SS）、出水总磷（TP）、出水总氮（TN）、溶解氧（DO）和污泥浓度（MLSS），作为神经网络的变量，输入层6个输入节点，第一个隐藏层和第二隐藏层分别8个和3个节点，输出层为单个节点，对采样数据进行归一化处理以消除量纲和单位的影响，再对输出结果进行反归一化。共选取87天的采样数据，将其分为训练集和测试集，对软测量模型的有效性进行验证。

2 结果

将本研究的深层神经网络混合剪枝算法与现有的常用神经网络BP神经网络和RBF神经网络做对比实验，结果如图1所示，训练集和测试集均为随机选取，使用深层神经网络混合剪枝算法SAE_OBS共修剪权值44个，优化网络结构后测试集的均方误差为1.498，R²为96.7%，BP神经网络的均方误差为4.272，R²为90.5%，RBF神经网络的均方误差为4.064，R²为91.0%，证明本研究的深层神经网络混合剪枝算法SAE_OBS比传统的神经网络有着更好的拟合能力，预测性能较好，且经过剪枝算法修整后网络结构更简单。