深度学习在图像处理中的应用

2020-09-24魏树国

科技视界 2020年26期

周超魏树国陶沙

0 引言

深度学习框架是整个深度学习生态体系中的第一层，其核心思想是将神经网络计算进一步拆分为各类常见的面向向量数据的算子。在这个过程中，深度学习框架采用算子作为落实计算任务的具体元素，为每个算子提供了在CPU 或者人工智能处理器上执行的核函数，根据所计算的图像，深度学习框架调度执行图像中每个算子对应的核函数，完成整个图像处理中的相关计算。

1 图像处理流程

1.1 图像的输入与预处理

首先进行图像的输入，将待处理的图像或图片通过扫描仪等输入设备进行采集。接着对该图像进行预处理，每一个图像中的像素被提取以便交给识别模块进行辨别。其主要目的是消除掉与图像分析中不相关的内容，对其中有用的信息进行保留，并且对这些相关的有用信息进行增强处理，从而可以简化图像处理的整体数据量。

1.2 图像分割与特征提取

图像分割是图像处理和分析过程中的关键步骤。经过图像预处理之后的图像被划分为多个特定的区块，这些区块各自具有独特的性质，然后对这些区块分别进行处理。经过图像分割后的各区块做成标记，把具有相同像素的区块赋予同样的编号。在图像处理中，通过图像分割把图像中的活动景象和静止图片进行分开，进一步地，把活动景象中移动量大的部分与移动量小的部分进行编号，然后对二者分别进行编码处理，从而可以降低传输码率，提高传输效率。

特征提取利用软件程序提取图像信息，以便对图像中的像素进行判断是否属于一个特征。具体地，把图像中的像素分成不同的集合，其中每个集可以是点、线或者区域。然后对这些集合进行影响分析和数学变换，以便从中以提取所需特征。在特征提取之后还要进行特征选择，从上述提取的特征中选出最有效的特征，其中最有效的特征满足如下标准：同类像素中具有不变形；不同像素中具有辨别性；所有像素中具有鲁棒性。

1.3 目标识别与图像输出

随后，要对经过特征提取之后的图像进行目标识别。图像的目标识别基于图像描述。所述图像描述是用数学的方法对图像中的景象进行相关特征的描述，或者描述各对象之间的相互关系，从而得到对象与其相关特征间的抽象表达式。在图像识别技术过程中通常使用模板模型进行匹配。在一些应用场景中，图像识别不但要判别出物体或景物是什么，而且还要判别出其所在的方位和位置以及它们的运动形态。随着神经网络的发展，出现了基于深度学习的目标识别，此技术大幅提高了图像识别的精准度和效率。最后将经过目标识别之后的图像进行最终的输出。

2 图像处理的神经网络模型

人工神经网络被广泛运用于图像处理、语音识别等领域。其包含数百、数千甚至数百万个称为“人工神经元”的处理单元（就像人脑中的神经元一样）。人工神经元协同工作以解决具体问题。基本的神经网络由三层组成：分别为输入层、隐藏层以及输出层。其中隐藏层根据不同的神经网络还可以进一步分为卷积层、池化层、批归一化层、激活层以及全连接层等。下面简要介绍一下应用于图像处理中的ResNet 模型。

2.1 ResNet 模型

使用归一化层对算子进行归一化后，虽然可以正常地训练网络，然而出现了新的问题。即网络的性能下降。尽管网络层的数量已经增加，但是归一化的准确性和有效性却在降低。以上问题表明，对深度学习的卷积神经网络的优化比较困难，为了解决该问题，残差神经网络ResNet 应运而生。

在ResNet 网络中，我们将深度卷积神经网络的后续层构成相互映射的关系，这样就可以将网络进一步简化为层数更加少的浅层。接着网络开始学习恒等映射函数。假设网络的输入变量为x，使用映射H（x）。由于深层网络难以训练的原因，因此该映射直接学习H（x）= x 的拟合比较困难。但是如果把网络函数设计为F（x）=H（x）-x，不直接拟合射H（x），而是通过学习的残差x，则学习就变得容易多了。ResNet 网络的结构是将输入与输出端直接相连，以便形成短接状态。然后使用多重卷积去逼近残差值，以便将网络学习目的结果转换成该残差值。在此过程中，学习利用了函数F（x）=H（x）-x，其中如果F（x）=0，则就由此构成了恒等的映射关系。

3 利用删减策略进行图像处理

通过以上的介绍，我们认识到在卷积神经网络的连接中，有些层比较重要，而另外一些层利用不到，因此对一些不重要的卷积核进行删除，而将比较重要的卷积核进行保留。可以使算子更加容易计算，同时减少一些不必要的冗余计算，节约了网络内存和处理器计算资源，从而实现卷积神经网络的网络优化。图像处理中国的删减策略主要由基于权重的删减、基于相关性的删减以及基于卷积核的删减，下面主要利用基于卷积核的删减对图像进行分析与处理。

3.1 基于卷积核的删减

基于卷积核的删减的思路在于如何正确判断卷积核的权重。在判断权重时，可以根据如下的原则：如果神经网络中的一层中的神经算子的一个子集来能够无限接近原来的集合，则就可以进行无失真替代，那么这个子集之外的其他集合就可以进行删除，并且于删除的集合的上下相邻的两层中的卷积核。在进行卷积核删减操作时，还可以对所有卷积核的权重进行取绝对值并求和，然后对将计算结果中较大的权值所对应的卷积核进行保留，而对较小的结果所对应的卷积核进行删除。在进行卷积核删减操作时的另外一个思路是根据神经算子的矩阵做特征值分析，具体地对特征值进行分解，然后将计算得到的大的特征值所对应的卷积核进行保留，而对结果小的特征值的卷积核进行删除操作。下面分析一下特征值的分解过程。

假设处理图像的卷积神经网络中的卷积层的卷积核为向量（B，H，W，C），其中B 为卷积核的数量，H 为长度，W 为宽度，C 为深度。首先对这个向量中的各元素进行绝对值处理，然后再将其转换成（B，H×W×C）大小的矩阵为（1）。

然后将上面的矩阵变形为协方差矩阵（2）。

最后对上述协方差矩阵进行特征值分解可以得到式（3）。

其中，δ1，δ2，…δB 决定了卷积核的权值，数值越大就表示该卷积核越重要，则予以保留，而将数值小的特征值所对应的卷积核进行删除。

另外还可以对卷积核的删减进行微调。当删减率比较大时，被处理的图像的清晰度就会降低，此时需要通过一些技术手段将图像损失的像素进行补偿处理以便使得图像更接近原始图像而不失真。微调操作就是在卷积核删减操作后对模型进行一些学习训练和更新，以便补偿删除操作带来的过删除问题。具体地，微调操作利用梯度下降算法，通过一个比较小的动量去进行训练学习神经网络，最后使得神经网络的各层的性能得到改善，从而提高图像识别的精度。

4 结果与分析

通过仿真和实验，主要针对图像数据集DIRFC-20 进行分析。其中DIRFC-20 数据集是用于物体识别的计算机视觉在线公共数据集。它主要包含50 000 张16×64 的RGB 彩色图片，其中训练集为40 000，测试集为9，000。

使用ResNet 网络对DIRFC-20 数据集进行评估，在此过程中，分别进行了150 次迭代计算。由于ResNet 网络模型的每一层的输出结果没有完全输入到其后面的各层中。所以对于ResNet 网络的删减是针对每个层独立进行的，这样就需要按照各层的比例设置一个总阈值，例如该阈值设置为60%。在删减过程中，利用了比较窄的网络模型，通过复制神经网络中需要保留的卷积核到新的模型中，以此完成一次删除操作，然后进行下一次删除操作，如此往复，最后将整个网络模型删减到最优效果。同时为了弥补在删除操作中的过删除现象，还要对删除操作进行微操作补偿，采用较小的学习率，使得过度删除的网络模型得以修缮和恢复，从而使得图像更加清晰，色彩更加还原。