彭芙蓉，曹继华，石和平，彭 斌

（1.天津职业技术师范大学电子工程学院，天津 300222；2.北京化工大学信息科学与技术学院，北京 100029）

目前，隐写术[1-3]已经成为了信息安全领域的热点问题，隐写术能在数字化媒体，如音频、视频、文字、图像等中嵌入秘密信息，同时又不会破坏载体的质量。而隐写分析[4-6]是对隐写术的攻击，其目的是检测载体中是否存在秘密信息，是解决非法使用隐写术问题的关键技术。因此，隐写分析技术可以有效地维护信息安全问题，是信息隐藏技术发展和完善的一条有效途径。

传统的隐写分析包括特征提取和特征分类2 个步骤。空域富模型（spatial rich model，SRM）[7]与集成分类器（ensemble classifier，EC）的组合在传统隐写分析中取得了较好的效果，该方法对S-UNIWARD 隐写算法的检测准确率达到79.53%[8]。传统隐写分析需要人工提取图像中的特征，而对图像的高维特征进行人工特征提取比较困难且耗时，所以传统的隐写分析仍然无法达到理想的检测效果。深度学习在计算视觉中的快速发展为隐写分析提供了一种新的发展方向，深度学习使用卷积神经网络可以自动提取图像的特征，因此最新的图像隐写分析方法均使用了深度学习技术。Qian 等[9]将深度学习算法应用于图像隐写分析领域，提出了一种5 层的卷积神经网络（convolutional neural networks，CNN）模型，并给出了基于高斯激活函数的卷积预处理方法，该方法的检测准确率为76.19%。Xu 等[10]也提出了一种5 层CNN 神经网络模型，该模型采用了绝对值层、批标准化（batch normalization，BN）层和全局池化层结构，检测准确率为80.24%。魏立线等[11]改进了Xu 等的研究，构造了一种只有2 层卷积神经网络模型用于图像隐写分析，这是目前最新的图像隐写分析方法，该模型减少了神经网络的层数，增加了每个卷积层的卷积核的个数，从而提取更多的特征。尽管深度学习对隐写分析有较好的检测效果，然而使用单一的神经网络仍存在一些弊端，如隐写术对图像嵌入秘密信息仅修改少量的像素点，因此含有秘密信息的图像与其载体图像非常相似，单个神经网络对这样的图像进行分类易出现较高的偏差。

为了解决图像隐写分析中高偏差的问题，构建了一种新颖的集成GoogleNet（EGN）模型用于图像隐写分析。该模型以GoogleNet[12]和其变异体作为基础分类器，首次把变异体应用于集成学习领域，变异体用于提高各弱分类器之间的差异。然后采用集成学习中梯度提升决策树（gradient boosting decision tree，GBDT）[13-15]的思想进行学习。GBDT 通过不断地迭代训练新的分类器去预测上一个分类器的偏差，因此GBDT 具有较低的偏差。本文使用S-UNIWARD[16]嵌入算法对载体图像进行信息嵌入分析。

1 相关工作

1.1 图像隐写术

图像隐写术是把秘密数据信息隐藏到图像中的艺术和科学，其可以实现秘密信息在公共媒体中的安全传输。只有发送方和接收方才能知道图像中秘密信息的存在。Marvel 等[17]提出了一种数字图像隐写术方法，该方法名为扩频图像隐写（spread spectrum image steganography，SSIS）。SSIS 方法使用了错误控制编码、图像处理和扩频技术，并且在不改变图像大小的情况下，将数字信号隐藏在覆盖图像内，隐藏的信息可以是文本、图像或任何其他数字信息。该方法需要接收方拥有正确的密钥才能恢复被隐藏的信息，从而有效地保证了通信的安全性。Wang 等[18]提出了一种高容量的图像隐写术方法，该方法称为HidingGAN，该模型设计了一种隐秘信息预处理方法来整合隐秘信息和图像特征，HidingGAN 引用了对抗网络，使载体图像和含有秘密信息的图像在高维空间中保持相同的统计特征，从而使图像隐写分析方法难以检测。Vojtech等[18]认为当前隐写术最成功的地方在于最小化适当定义失真函数的同时嵌入有效载荷，同时提出了一种通用失真设计隐写术算法，该算法称为S-UNIWARD，在对载体图像进行定向滤波器组分解时，该算法将嵌入失真计算为系数的相对变化之和。

为了构造数据集对EGN 方法进行训练和测试，本文使用S-UNIWARD 隐写术算法对载体图像进行信息嵌入，嵌入率设为0.4 bpp，bpp 为位图单位。

1.2 图像隐写分析

作为图像隐写术的一种攻击方法，图像隐写分析能够检测出图像中是否存在秘密信息，从而防止非法的秘密信息在公共媒体中传输，保证了通信的安全。传统的隐写分析方法[19-21]先对图像进行特征提取，然后使用提取的特征并且结合机器学习分类器进行图像隐写分析检测。CNN 是深度学习领域中使用最广泛的神经网络之一，其在计算机视觉[22]领域取得了突破性的研究成果。如今，研究人员开始利用深度学习技术对图像进行隐写分析。与传统隐写分析方法相比，基于CNN 的隐写分析方法有着显著的优势。高培贤等[23]构建一个基于多层感知卷积神经网络模型来提高图像隐写分析算法的检测准确率，该模型使用全局平均层来代替全连接层，并且使用全局均值池化对每个特征图进行池化操作。黄思远等[24]构建了一个基于自注意力机制的卷积神经网络模型来提高图像隐写分析算法的检测准确率，该模型通过自注意力引导模型更加关注被检测图像全局，有利于进行隐写分析的区域，识别有利区域之间的长距离依赖关系，更好地帮助建模，防止训练陷入局部最优。Reinel 等[25]提出了一种新颖的卷积神经网络模型GBRAS-Net，GBRASNet 在预处理阶段使用SRM 滤波器组增强图像的残差信息，并且使用深度和可分离卷积层提取图像的高维特征信息，灵活地使用残差连接提高模型的特征提取能力，该模型提高了多种图像隐写术的检测准确率。本文构建了一种集成GoogleNet（EGN）的神经网络模型进行图像隐写分析，为了验证提出模型的有效性，在一个常用的图像隐写分析数据集上进行了实验。

2 EGN 方法

本研究通过一个高通滤波器（high-pass filter，HPF）层对输入图像进行噪声增强，将增强图像输入GoogleNet 及其变异网络中，提取图像特征信息，最终将从所有网络中提取的特征信息进行集成。构建的EGN 模型如图1 所示。图中Cover 为载体图像，Stego为带有隐写信息的图像。2 种示例图像如图2 所示。

图1 EGN 模型框架

图2 示例图像

2.1 高通滤波

将高通滤波器提取图像的高频部分加到原图上，从而强化图像的边缘信息，达到增加图像噪声的效果。图像中的秘密信息也类似于噪音，所有图像隐写分析需要增强这种噪声。现有的大量基于神经网络的图像隐写分析研究方法[11，23，26-27]都会给神经网络加入1个HPF 层。与这些方法相同，EGN 模型也在图像输入和神经网络直接加入1 个HPF 层。HPF 为1 个5×5的矩阵，并且其值不会因为神经网络的训练而更新。HPF 的权值F 为

2.2 GoogleNet

GoogleNet 作为图像分类领域中代表算法之一，具有较高的图像分类性能。因此，选择现有GoogleNet 作为EGN 模型的基分类器。GoogleNet 是2014 年Christian Szegedy 提出的一种新颖的基于CNN 的网络结构。inception 网络如图3 所示。

图3 inception 网络

GoogleNet 网络模型是基于图3 中的模块堆叠而成。通常先通过1×1 卷积操作来降低通道数的聚合信息，再进行相关的计算，1×1 卷积操作能有效地减低计算的复杂性，并且融合不同尺度的卷积和池化操作，进行多维特征的融合，从而提高识别和分类的性能。网络中增加了2 个辅助的softmax 被用来向前传导梯度，避免了网络层数太深导致的梯度消失的问题。为了解决了传统CNN 网络中最后的全连接层参数过于复杂且泛化能力差的缺点，GoogleNet 网络在最后一层采取全局均值池化操作。

2.3 变异体

EGN 模型首次在集成深度学习中使用了变异体，1 个变异体就是1 个分类器模型。受深度学习测试中的变异测试[28-29]启发，本文对GoogleNet 进行变异来构建不同的深度学习模型。变异体的生成需要基模型和变异算子2 个部分，基模型通过随机选择一些变异算法进行变异来生成变异体，如对卷积神经网络中卷积核大小进行改变。使用变异体的目的是使集成学习中的每个分类器模型各不相同，从而使每个分类器模型具有不同的隐写分析检测性能，最后通过对所有的分类器模型进行集成来降低图像隐写分析的偏差。

在模型中，GoogleNet 为基模型。为了构建变异体，针对GoogleNet 提出了4 个变异算子，如表1 所示。通过GoogleNet 模型和变异算子结合生成了大量的变异体，并且每个变异体都是不相同的。为了保证变异体的有效性，对每个变异体单独进行训练，选择检测准确率接近原始GoogleNet 的变异体。

表1 GoogleNet 变异算子

2.4 训练方法

GBDT 是传统机器学习中的算法，通过多轮迭代，每轮迭代训练一个弱分类器，每个分类器使用上一轮分类器的偏差进行训练。EGN 模型的训练方法借鉴GBDT 的思想并且应用于深度学习中，使用GoogleNet去预测每个类别的概率，然后使用变异体网络去预测前面所有网络的偏差，使整个模型具有较低的偏差，具体过程为

式中：f0为GoogleNet 分类器；f1，f2，…，fn为n 个变异体分类器；t 的取值范围为[1，n]，n 为变异体分类器个数。

特别地，y0=f0（x）。在训练f0网络时，其他网络参数固定，只优化f0网络的参数，其产生的偏差为yy0。在训练f1网络时，其他网络的参数固定，只优化f1网络的参数，此时使用y1和y 计算损失值就相当于使用f1（x）和y-y0计算损失值，也就是在预测f0的偏差。在训练fn网络时，其他网络的参数固定，只优化fn网络的参数，同理，fn在预测它之前所有网络的偏差。每个网络的损失函数都是交叉熵，优化目标是交叉熵最小化。yi用于计算第i 个网络的损失值。

本文提出了一种适合EGN 模型的采样方法对训练集进行采样，目的是使每个模型训练的数据集不同，从而提高每个模型的隐写分析检测的差异性。采样方法为每次以80%的概率对每张图像进行选取。与随机森林的采样方法相比，该采样方法可以采集更多的样本，有利于增加样本的利用率。因每次采样得到的数据量也不尽相同，这样也有利于提高每次采样的差异性。

如果直接对整个模型采用预测偏差的方法进行训练，由于每个网络需要预测的偏差越来越小，会导致后面的网络需要预测的偏差太少，导致后面网络无法训练。为了解决这个问题，采用预训练加微调的方法去学习EGN 的模型。首先单独训练每个神经网络模型使其具有一定的图像隐写分析能力，然后再使用预测偏差的方法微调每个变异体。

3 实 验

3.1 实验设计

3.1.1 数据集及数据处理

实验采用BOSSbase V1.01 数据集1，数据集所有图像由7 个数码照相机获取。该数据集含有10 000 张分辨率为512×512 的灰度图像，是目前进行图像隐写分析研究的最为常用的数据集。在实验中利用Python 编程将数据集中的灰度图像切割至大小为224×224 的图像，一张512×512 的图片可以切割成4 张224×224 的图像，所以得到40 000 张图片。用S-UNIWARD 隐写算法对载体图像进行嵌入，嵌入率为0.4 bpp。选择30 000 张载体图像和30 000 张隐写图像作为训练样本，5 000 张载体图像和5 000 张隐写图像作为验证样本，5 000 张载体图像和5 000 张隐写图像作为测试样本。

由于图像具有旋转不变性，即带隐写信息的图像旋转后仍然带有隐写信息，不带隐写信息的图像旋转后仍然也仍然没有隐写信息，因此在训练阶段将图像进行旋转来增强训练集。分别以90°、180°、270°旋转和左右翻转来增强数据。这样将原来的一张图像转换成了5 张图像。这里的5 是一个单数，因此在测试阶段也可以做相同的操作，将一张测试图像转换成5 张图像，然后分别去预测他们是哪一类。由于5 是单数且隐写分析是二分类任务，所以必然会有更多类别的预测，所以选择多的那一类作为最终的类别。

3.1.2 对照方法

为了研究EGN 模型的性能，采用最新的2 种基于深度学习的图像隐写分析方法和一种传统的图像隐写方法作为对照方法，并且这2 种基于深度学习的方法为当前最领先的图像隐写分析方法，该传统方法是传统隐写分析方法中最领先的图像隐写分析方法。3种方法如下：

方法1S-CNN 方法为只有2 层CNN 的卷积神经网络模型。该模型取消了卷积神经网络中的池化层，防止嵌入信息的损失。该方法在激活函数之前引入批量正规化层防止模型过拟合。S-CNN 为当前图像隐写分析的检测准确率最高的方法。

方法2S-NIN[22]方法为一个新颖的基于卷积感知层的神经网络模型。该模型取消了传统的线性卷积层，并且使用卷积层感知层来提高模型的非线性表达能力。该方法取消了全连接层，保留了池化层。S-NIN为当前图像隐写分析领域最新的方法。

方法3SRM+EC 为性能最好的传统机器学习隐写分析方法，该方法先使用SRM 提取图像特征，然后使用集成分类器EC 进行图像隐写分析识别。

3.1.3 模型超参数

模型超参数是通过在验证集上调试而来，为了保证真实性，在参数调试过程中不使用测试集，只用验证集进行调试。模型的参数更新算法是Adam 优化算法，Adam 算法的优点是能为不同的参数独立地设计自适应性学习率。模型的初始学习率设置成5×10-5，使用自然指数衰减来减少学习率，衰减率为0.98，每训练完一轮，学习率进行一次衰减。训练时每一批次大小（batch size）设置为100。在预训练阶段，首先为每个网络单独训练20 轮，在微调阶段为每个变异体训练4 轮，每轮训练2 400 个批次，所以基模型总共训练20 轮，并且每个变异体总共训练24 轮。每训练2 000个批次进行一次验证，并保存验证集上最优的模型。EGN 模型使用了4 个变异体网络。

本文的实验使用python 3.6 和Tensorflow1.14.0 框架来实现。研究中进行的所有实验均在Linux 服务器（Ubuntu 14.0，32 Intel（R）Xeon（R）Silver 4110 CPU@2.10 GHz，11 GB TITAN Xp GPU）上运行。

3.2 实验结果

在集成学习中，弱分类器的数目是一个非常重要的参数，因此首先研究变异体数目对EGN 的影响，实验结果如图4 所示。从图4 可以看出，当变异体的个数为0 时，也就是单个的GoogleNet 模型，此时的检测准确率较低。随着变异体数目的增加，隐写分析的检测准确率呈递增趋势，并且增长速度越来越慢。当变异体数目为4 时，检测准确率趋于稳定。模型的变异体数目越多，模型的训练与预测时间开销也随之增加。综合考虑下，EGN 模型选择了4 个变异体。

图4 变异体数目对EGN 的影响

为了研究EGN 模型的性能，使用EGN 模型与S-CNN 和S-NIN 两种最先进的基于深度学习的图像隐写分析方法进行了比较，实验结果如表2 所示。

表2 隐写分析方法检测准确率比较

从表2 可以看出，本文的方法检测准确率最高。具体来说，在准确率方面EGN 比S-NIN 方法提高了7.26%，比S-CNN 方法提高了5.31%，说明了构建的EGN 模型对S-UNIWARD 算法的检测准确率优于S-NIN 和S-CNN 两种方法。这是因为EGN 模型采用了集成学习对多个模型进行集成，具有较低的偏差，并且集成学习本身就不容易过拟合，有很好的抗噪声能力。而S-CNN 和S-NIN 都只使用单个的卷积神经网络模型，会导致较高的偏差且对噪声不敏感。结果显示，EGN 模型能有效提高图像隐写分析检测准确率。从表2 可知，S-CNN 检测准确率高于S-NIN。S-CNN 模型取消了池化层，而S-NIN 保留了池化层。图像隐写分析是检测图像中是否含有隐秘信息，而隐秘信息相当于一种噪音，所以这种噪音信息对图像隐写分析性能很重要，池化层相当于一个低通滤波器，对噪音有抑制作用，因此使用池化层会减低模型的检测准确率，故S-CNN 检测准确率高于S-NIN。

EGN 模型优于现有基于深度学习的图像隐写分析方法，接下来将进一步与性能最好的传统图像隐写分析的方法进行比较，实验结果如表3 所示。

表3 EGN 与传统隐写分析方法的检测准确率

从表3 可以看出，EGN 模型优于传统的图像隐写分析方法，具体来说，在准确率方面，EGN 比SRM+EC方法提高了16.65%。虽然EGN 和SRM+EC 方法都使用了集成学习方法，但SRM+EC 方法需要人工提取图像特征，导致图像的高维特征难以提取，而EGN 使用深度学习技术自动提取图像特征。实验结果说明了深度学习自动提取图像特征技术优于人工提取图像特征。

为了进一步验证提出的集成学习方法的有效性，使用EGN 模型与原始的GoogleNet 模型进行比较，实验结果如表4 所示。

表4 EGN 与GoogleNet 的性能比较

GoogleNet 卷积神经网络是一种更具有前景的图像隐写分析工具，可在提高检测准确率的同时，避免人工提取特征，提高隐写分析效率。从表4 可知，其检测准确率为91.19%。EGN 模型的检测准确率比GoogleNet 高出4.99%。由此可见，GoogleNet 变异体网络模型极大提高了隐写分析的检测准确率，进一步证明了EGN 模型具有降低图像隐写分析偏差的能力。

4 结语

针对当前图像隐写分析高偏差问题，本文构建了集成GoogleNet 模型来提高图像隐写分析的检测准确率。该模型首次在集成学习中使用了变异体来产生不同的分类器，并把GBDT 的思想应用于深度学习中以降低图像隐写分析的偏差。本文还提出一种采样方法来提高每个分类模型的差异性，并且提出一种预训练加微调方法使提出的EGN 模型可以成功训练。实验结果表明，EGN 模型优于之前的图像隐写分析模型，并且证明了集成学习有利于降低图像隐写分析的偏差，从而提高图像隐写分析的检测准确率。