高学金，刘腾飞，徐子东，高慧慧，于涌川

（1 北京工业大学信息学部，北京100124； 2 数字社区教育部工程研究中心，北京100124； 3 城市轨道交通北京实验室，北京100124； 4 计算智能与智能系统北京市重点实验室，北京100124）

引 言

间歇过程因其小批量、可操作性强、产品附加值高等特点，在化工生产中被广泛应用[1]。多向主成分分析[2](multiway principal component analysis,MPCA)和多向偏最小二乘[3](multiway partical least squares, MPLS)最早被提出用于间歇过程的故障监测，已得到了较大发展[4-7]。间歇过程本身反应复杂多变，通常具有较强的非线性和动态性，增加了故障监测的难度[8-9]。

传统方法中通常使用核方法解决过程非线性，取得了较好的效果[10-12]。进一步，为同时处理间歇过程中的非线性和动态性，Wang 等[13]提出了双向动态核PCA(two-dimensional dynamic kernel PCA, 2DDKPCA)方法，通过构造支持域(region of support,ROS)捕捉批次内和批次间两个方向的动态性，但支持域难以确定。Jia 等[14]提出了批动态核PCA(batch dynamic kernel PCA, BDKPCA)方法，通过增广时滞数据的方式处理动态性，而后使用所有批次数据的平均核矩阵进行PCA 建模。但增广时滞数据并不能有效提取过程数据间的时序关联关系，对动态性的处理仍有不足。Zhang 等[15]提出了递归核PCA 方法，在核空间递归更新样本协方差矩阵的特征值分解，考虑了历史信息对当前时刻的影响。Zhang 等[16]提出了全局保持核慢特征分析方法，在处理非线性和动态性的同时考虑了全局数据结构信息。然而，核空间不可知，在线更新困难，当训练数据增加时，核矩阵所需的计算和存储需求都急剧增大，这些缺陷使同时处理过程动态性的难度大大增加。

自动编码器（autoencoder,AE）是一种用于无监督特征提取的神经网络，因深度学习的热潮而备受关注[17]。Yan等[18]将自动编码器应用于过程监测，在解决非线性问题的同时考虑了过程监控的鲁棒性。但AE 同样假设过程变量是独立同分布的，忽略了过程数据的时序相关性，容易导致较高的漏报率和误报率。

循环神经网络(recurrent neural network, RNN)对处理非线性时间序列有着较强的适用性，能较好地学习和利用时序样本间的动态关联信息。长短时记忆(long short-term memory, LSTM)网络是RNN的一种典型改进形式[19]，改善了RNN 的梯度消失问题，在学习新信息的同时能够动态记忆长时间的历史信息[20]。然而在过程监测领域，LSTM 还少有应用。基于此，本文提出一种基于循环自动编码器(recurrent autoencoder,RAE)的间歇过程故障监测方法。首先，利用AT[21]展开方法将间歇过程数据展开成二维，通过滑动窗采样得到模型输入序列；之后采用LSTM 网络构建自动编码器，将输入序列作为期望输出进行网络训练，通过隐藏层的循环连接提取过程数据的动态关联信息。最后，通过青霉素发酵过程和实际的工业过程验证了所提算法优越性和有效性。

1 循环自动编码器

1.1 传统自动编码器

传统自动编码器是一个三层前馈神经网络，它由编码器和解码器两部分构成，通过最小化重构误差学习到原始数据的特征表达[22]。编码器f(x)将输入x∈Rn映射到隐含层特征h∈Rm，可表示为

式中，W'∈Rn×Rm与b'∈Rn分别为解码器的权重矩阵和偏置向量；sg为解码器激活函数。重构误差L(x,y)为输入x与重构y之间的差异，可表示为

1.2 LSTM循环神经网络

LSTM 网络是由Hochreiter 等[23]提出的一种改进RNN。传统RNN 虽然适用于处理非线性时间序列，但其存在梯度消失问题，即无法学习到较为久远的序列信息。因此，LSTM 网络将RNN 的隐含层改进为存储单元，以提升其保持长期历史信息的能力。图1所示为LSTM存储单元结构。

图1 存储单元结构Fig.1 Structure of memory cell

存储单元中使用记忆细胞保存信息，通过输入门、遗忘门和输出门来控制细胞状态。其中，输入门控制信息流对细胞状态的更新，遗忘门决定从细胞状态中丢弃的信息，而输出门最终确定存储单元的输出。存储单元的计算流程可以由以下复合函数表示[20]

式中，it、ft、ot、ct分别为t时刻的输入门、遗忘门、输出门和细胞状态，W和b分别为其对应的权重矩阵和偏置向量；ht为t时刻存储单元的输出；σ为sigmoid函数。

LSTM 网络输出的计算方式与传统RNN 相同，可表示为

式中，yt为t时刻LSTM 网络的输出，Why和by为隐含层到输出层的权重矩阵和偏置向量；由此，给定一个输入序列，LSTM 网络可得到同样长度的输出序列。

2006年博湖县建立了“非遗”保护中心，确定了博湖县文化馆为开展“非物质文化遗产保护工作”具体实施单位，近年来，县委、县政府团结和带领全县各族人民，大力实施“水陆并进”战略，但博湖县非遗资源的有效利用方面存在以下问题：

1.3 循环自动编码器

针对间歇过程数据的非线性和动态性特征，将传统AE 使用LSTM 网络扩展为RAE，即将LSTM 网络替换为传统AE 的隐含层，LSTM 将输入序列输出为重构序列，以此来计算重构误差。克服了LSTM只能用于分类，无法进行监测的问题，并使其在处理时序数据中性能较好的优势引入间歇过程中，其展开结构如图2所示。网络中隐含层特征不仅传递到了输出层，同时传递到了下一时刻的隐含层。因此，RAE 有效考虑了历史序列对当前状态的影响，并且LSTM 赋予了模型保留长期时序信息的能力。此外，隐含层的循环连接使RAE 可以表达出一个过程状态到另一个过程状态的转移关系，从而提取时序样本间的动态关联信息。

图2 RAE展开结构Fig.2 Unfold structure of RAE

给定输入序列X =(x1,…,xT)，其与输出序列Y =(y1,…,yT)间的误差为所有时间步误差之和，可以表示为

式中，Lt为t时刻的重构误差，f(·)为编码器，如式(5)～式(8)所示；g(·)为解码器，如式(9)所示。

2 基于RAE的过程监测策略

2.1 数据预处理

间歇过程原始数据可表示为X(I×J×K)，其中I为批次个数，J为变量个数，K为采样点个数。由于LSTM 需要输入为时间序列，所以使用批次展开和变量展开结合的AT[21]方法将三维过程数据展开成二维，然后对每批次数据以窗宽为d的滑动窗进行连续采样，提取出时间序列。数据展开采样过程如图3所示。

首先，按批次方向将历史数据X(I×J×K)展开成二维矩阵X(I×KJ)进行标准化处理，降低了过程变量的非线性。接着将数据重新排列成三维形式，然后按变量方向展开成二维矩阵X(IK×J)。最后，对展开后的每个批次数据采用滑动窗将其采样为序列形式，其中第i个批次第k个时刻滑动窗采样得到的序列为

图3 数据预处理Fig.3 Data preprocessing

2.2 故障监测指标

为监控过程变化，在残差空间中构建SPE 统计量。基于RAE 的重构误差，其SPE 统计量计算方式为

其中，d为采样滑动窗的窗宽，e是一个时刻的输入与输出间的误差。由于难以确定SPE统计量的数学分布，因此采用核密度估计[24]方法获取统计量控制限，其形式[25]为

式中，fk(x)为概率密度，x为观测样本，K为核函数，h为窗宽，N为观测样本数目。

2.3 离线建模

(1）将正常间歇过程的三维历史数据X(I×J×K)按照2.1 节所述方式展开标准化并使用窗宽为d的滑动窗对各批次进行连续采样，得到训练所用的样本序列。

（2）使用基于时间的反向传播算法训练RAE，直到模型收敛。

（3）根据式(12)求取全部建模序列的SPE 统计量。

（4）根据式(13)使用核密度估计方法计算得到SPE统计量的控制限[26-29]。

2.4 在线监测

（2）计算输入序列的SPE 统计量,通过判断其是否超过控制限来确定生产过程是否发生故障。

3 青霉素发酵过程仿真研究

青霉素（penicillin）是一种常见的临床抗菌药品，其生产制备过程是典型的间歇过程，具有较强的非线性和动态性。本文使用Birol 等[30]研究开发的青霉素发酵基准仿真平台Pensim2.0 进行在线监控仿真研究。设定每批次发酵时间为400 h，采样间隔为1 h。共产生40 批次正常工况数据，每个批次的初始条件均在允许的范围内稍加改变。选取10个过程变量用于建模和监控，如表1 所示。为较好模拟实际生产状况，对训练样本加入一定量的高斯噪声干扰。

表1 青霉素发酵过程主要变量Table 1 The main variables of penicillin fermentation process

为验证所提方法用于过程监控的有效性，本文选取了三组故障批次样本进行测试验证，如表2所示。

表2 故障批次设置情况Table 2 Fault batch settings

RAE 模型需要设定的主要参数有隐含层节点数目和采样时间窗口大小，本文采用网格搜索法对两个参数进行交替寻优确定。其中RAE 模型的序列平均重构误差-L作为参数选择标准，计算方式如式（14）所示

式中,d为滑动窗宽，Li为序列中第i个时刻的重构误差，xi和yi分别为模型第i个时刻的输入和重构向量。序列隐含层节点数选择16、32、64、128，采样窗宽d选择2、4、8、16、32，共计20 组参数进行搜索寻优，得到模型的序列平均重构误差值如表3所示，重构误差值越小，模型越精确。最终选择隐含层节点数目为64，采样窗宽为8。为进一步表明本文方法的优越性，本文将所提方法与传统方法进行了对比分析，对比方法选择BDKPCA[14]、AE 以及增广时滞数据的滑动窗AE(move window AE,MWAE)方法。为进行更合理的分析对比，将BDKPCA 的T2和SPE统计量进行融合得到C统计量，如式（15）所示

表3 不同参数下模型的平均重构误差值Table 3 Mean reconstruction error values of models with different parameters

图4 所示分别为BDKPCA、AE、MWAE 与本文所提RAE 方法对故障1 的在线监测图,虚线为99%的控制限。可以看出故障发生后，所有方法的监测统计量指标均立刻超出控制限，但BDKPCA 仍存在一定的漏报警现象。从图4(a)～(c)的对比可以看出，AE 方法误报率最高，BDKPCA 和MWAE 由于考虑了过程动态性，误报警有所减少。相比之下，RAE 方法误报警最少且故障幅度上升更为明显，监测到的故障工况与正常工况间的数据分布差异更大。

图5 分别为BDKPCA、AE、MWAE 与RAE 方法对故障2的监测结果。BDKPCA 的C统计量在218 h监测到故障。AE对故障的检测存在一定的延迟，在221 h监测到故障，且存在较多误报警。MWAE相比AE 误报警较少，且可以在215 h 监测到故障。从图5(d)中可以看出，本文所提RAE 方法没有误报警，且在208 h 监测到故障，故障检测的实时性有了明显提高。

图4 故障1的监测结果Fig.4 Monitoring results of fault 1

图6 分别为四种方法对故障3 的监测结果。BDKPCA 的C统 计 量 在189 h 监 测 到 故 障。AE 在195 h 监测到故障，而MWAE 在184 h 监测到故障。图6(d)中，RAE 方 法 在175 h 监 测 到 故 障，比BDKPCA 和MWAE 方法分别提前了14 h 和9 h。相比其他三种方法，本文所提方法对于该幅值较小的缓变故障更为敏感，表现出更好的监控效果。

图5 故障2的监测结果Fig.5 Monitoring results of fault 2

表4 四种方法的故障检测率Table 4 Fault detection rate of four methods/%

图6 故障3的监测结果Fig.6 Monitoring results of fault 3

四种方法对三个故障批次的详细故障检测率和误警率分别如表4 和表5 所示。由故障检测率和误警率的对比可知，BDKPCA 和MWAE 比AE 方法具有更强的故障检出能力以及更低的误警率，说明处理过程动态性是必要的。而RAE 相比于其他三种方法故障检测率最高，且误警率明显降低，可靠性较好。RAE 使用LSTM 网络建立基于时间序列的AE，具有较好的非线性表达能力，且能动态记忆历史信息，有利于故障监测。综上可知，对于非线性和动态性较强的间歇过程，本文所提出的基于RAE的监测方法是有效的。

表5 四种方法的误警率Table 5 False alarm rate of four methods/%

4 算法实际验证

实验数据来源于北京某生物制药公司，该公司主要以基因重组大肠杆菌外源蛋白质表达制备白介素-2。该公司提供了30 批正常工况大肠杆菌发酵生产历史数据，选取用于进行监测的7 个主要过程变量如表6所示。本次实验中的发酵批次持续时间6～7 h。数据从菌体接种入罐开始采集，每5 min采样一次，30个批次三维数据集为X(30×7×72)。

表6 大肠杆菌发酵过程主要变量Table 6 The main variables of recombinant Escherichia coli fermentation process

故障批次为，在第38 个采样时刻引起的，表现为斜率2%的斜坡故障。图7 分别为AE 和RAE 对故障批次的监测结果。传统AE 方法在发酵开始阶段出现了误报警，SPE 统计量在第42 个采样时刻超过控制限，存在一定延迟。RAE 方法的监测统计在第40 个采样时刻超出控制限，不存在故障的漏报警和误报警现象。通过以上分析，监测方法可以有效检测出生产过程中的故障，具有较大的实用价值。

5 结 论

本文针对间歇过程的非线性和动态性问题,提出了基于RAE 的过程监测方法。该方法利用LSTM循环神经网络构建自动编码器，解决过程非线性的同时可以有效学习时序样本间的动态关联信息。青霉素发酵仿真和重组大肠杆菌实际生产过程案例研究表明，相比传统方法，RAE 能更及时地检测到过程故障，误警率较低，具有一定应用价值。

图7 故障监测结果Fig.7 Monitoring results of fault