周 鹏

(南京邮电大学 自动化学院,江苏 南京 210000)

0 引言

PTA生产过程中,精制单元的晶体粒径大小是一个非常重要的质量控制指标。PTA粒径控制得好，有利于聚酯生产的稳定，还能提高聚酯产品的质量及可纺性[1]。然而，根据现有技术，PTA的平均粒径无法用常规的传感器在线测量，而是通过实验室分析化验得来。实验室分析所需成本高，化验时间长，无法对平均粒径的大小实时闭环控制，但可以采用软测量技术来解决PTA平均粒径不能在线测量的问题。

已有的PTA平均粒径的软测量模型大多数是建立在有监督的浅层网络算法基础上。PCA、PLS和BP等算法已经是较为成熟的PTA平均粒径软测量模型[2-3]，但上述算法都是浅层结构，其局限性在于对于样本数量不大的情况下，函数的表示能力有限，其泛化能力受到制约，容易陷入局部最优，而且这些方法大都是基于静态模型，当工况发生变化时，模型精度会降低，鲁棒性较差。为了克服这些算法的缺点，本文提出基于卷积神经网络和XGBoost(eXtreme Gradient Boosting)的PTA平均粒径的动态软测量模型。

卷积神经网络是深度学习中的一个重要算法，已经被广泛应用在自然语言处理[4]、人脸识别[5]和语音识别[6]等领域，取得了显著的效果。此外，卷积神经网络也被用于软测量领域，预测球磨机料位[7]。本文利用卷积神经网络学习PTA平均粒径数据的动态特性，提取出动态特征；使用XGBoost进行回归预测，建立一个深层的、精度更高的PTA平均粒径软测量模型。

1 相关工作

1.1 卷积神经网络数学模型

卷积神经网络是典型的深度学习算法，一般由卷积层、池化层、全连接层、输出层组成。卷积层是由前一层的特征图与可学习的卷积核进行卷积，再加上偏置经过激活函数得到的输出结果组成的。前一层的特征图经过卷积后形成卷积层的特征图j，且卷积层的每个特征图j可能与前一层的多个特征图相连接，一般地，卷积层计算公式为：

(1)

池化层能够有效地缩小输入矩阵的大小，从而减少最后全连接层中的参数，使用池化层可以加快计算速度也可以降低过拟合。常用的池化方法有随机池化[8]、最大池化、平均池化、空金字塔池化[9]等。该层是由卷积层的特征图通过池化，再加上偏置经激活函数得到的。卷积层的特征图经过池化得到池化层的特征图j,池化层的计算公式为：

(2)

(3)

得到卷积层的误差灵敏度后，更新卷积层的卷积核和偏置，公式如下：

(4)

(5)

同样地，池化层与卷积层类似，其后可以是卷积层l+1，也可以是全连接层，当为全连接层时误差灵敏度由BP算法求得，当为卷积层时，误差灵敏度为：

(6)

其中，conv代表反卷积操作，“∘”表示点乘。

(7)

(8)

1.2 XGBoost算法

XGBoost是陈天奇博士[10-11]提出的一种基于Gradient Boosting的集成学习算法，其是在梯度提升决策树(GBDT)算法[12]的基础上进行改进的。传统的GBDT算法只利用了一阶的导数信息，XGBoost算法则对代价函数使用二阶泰勒展开，利用了一阶导数和二阶导数信息，并在损失函数之外加入了树模型的复杂度作为正则项，用于控制模型的复杂度，避免过拟合。此外它采用了多线程的方法，可以充分利用机器的CPU内核，从而提高速度和性能。XGBoost作为一种新兴的机器学习算法，对比于其他浅层算法，运算速度更快，精度更高。

2 PTA平均粒径动态软测量模型

2.1 数据预处理

目前来说，大多数软测量方法都是静态的,不能把工业生产中的动态特性引入模型[13]。因此为了将工业生产中的动态特性引入模型中，模型的输入由影响k时刻输出的输入和未完成过渡过程的输入组成。未完成过渡过程的输入需要进行滞后处理，滞后时间采用最大相关系数法进行计算[14]。如下所示,x为模型输入。

(9)

其中xn为采集的数据的第n个变量，T为过渡时间长度，τn为第n个变量的滞后时间，τ1，τ2，…，τn不相等。

2.2 基于CNN-XGBoost方法的动态软测量模型

CNN-XGBoost模型如图1所示，从整体上来看，模型由CNN特征提取器和XGBoost线性回归器两部分组成。首先，在训练阶段，将经过预处理的样本数据块输入到卷积神经网络中，待训练结束后，提取该网络第4层的特征并用XGBoost回归训练；在测试阶段，样本数据经过与训练阶段一样的预处理，CNN特征提取，将提取出的特征作为已经训练完成的XGBoost的输入，其输出就是预测的PTA平均粒径大小。

图1 软测量模型结构

由于采集到的数据具有很大的冗余，为了减少冗余信息，对卷积神经网络采用降维处理，即令卷积核个数逐步减少。本文所使用的卷积神经网络有3个卷积层、3个池化层和3个全连接层。由表1的参数可知，将样本经过预处理后，在第一个卷积层中使用64个不同的大小为3×3的卷积核进行卷积，得到第一层卷积层提取的特征图后，进行池化操作，采用池化大小为5×5的最大池化。第二层卷积采用32个不同的大小为3×3的卷积核进行卷积。第三层的卷积采用8个不同的大小为2×2的卷积核进行卷积。对每个卷积层都进行池化操作，其中第二层和第三层都进行参数一样的池化操作，池化方式均采用最大池化。紧接着的第四层是第一个全连接层，将第三层所得的特征图转化为一维列向量，通过第四层全连接计算后得到第五层的特征向量，第六层是BP输出层，输出预测结果。

表1 本文卷积神经网络的结构

本文使用卷积神经网络降维的方法，能够去除样本的冗余信息，提高网络的性能。此外为了防止过拟合，在全连接层Full5后面连接dropout层[15]，提高网络的泛化能力。

3 实验

3.1 实验设计

本文采用的数据来自于某化工厂，共收集了173组数据样本，选取其中138组数据为模型的训练样本，35组数据为模型的测试样本。PTA生产中，影响PTA晶体生长的因素较多，根据现场经验，初步选择浆料密度、进料温度、浆料罐总进水量、塔釜采出流量、回流流量、回流流量调节、蒸汽流量、阀位第一至第四结晶器的液位、第一至第四结晶器的液位调节和第一至第五结晶器的压力共20个过程变量作为软测量模型的输入变量。模型的输入选取为滞后时间为1 h～2 h之间的数据，由于每30 s采集一次数据，因此数据块的尺寸大小为120×20。

本文采用相对平均误差作为性能的指标，具体计算公式为：

(10)

3.2 实验结果及分析

为了验证本文提出的基于卷积神经网络和XGBoost的动态软测量模型(简称CNN-XGBoost)的算法性能，分别与BP算法模型、XGBoost算法模型进行比较。其中，BP算法模型和XGBoost算法模型建立的是静态软测量模型。使用138组训练样本进行模型训练，训练结果如图2所示，三种软测量模型实验结果非常接近于真实值。

图2 动态软测量模型训练结果

为了比较实验结果的泛化性能，本文将剩余的35组测试样本用于模型的预测。图3是三种软测量模型的预测结果。比较图3曲线，可以大致得出：本文提出的CNN-XGBoost算法的预测结果相比于其他两种算法更接近于真实值。

图3 动态软测量模型预测结果

根据Python仿真结果，本文计算的三种模型的相对平均误差如表2所示。从表2中可以看出,本文提出的CNN-XGBoost算法的动态软测量模型的测试误差和训练误差均为最小，而且两者数值接近。因此可以得出如下结论：CNN-XGBoost算法建立的动态软测量模型的泛化能力比BP神经网络软测量模型强，而且CNN-XGBoost的预测精度比XGBoost和BP要高。

4 结论

本文利用卷积神经网络提取特征、XGBoost进行训练的混合方法用于PTA的平均粒径预测，并将预测结果与BP等软测量模型进行了比较，不仅验证了该方法在平均粒径的预测上有较高的精度，也说明了卷积神经网络在PTA平均粒径预测上具有较好的特征提取能力。但是，卷积神经网络的训练过程非常依靠经验，例如卷积核的大小、池化的方法、卷的层数等方面的确定，所以基于卷积神经网络的软测量的建模可以在模型结构选择和参数的确定等方面加以研究。

表2 不同方法建立的软测量模型结果对比