摘  要：近几年来，卷积神经网络被广泛应用于图像处理和目标检测等领域，并且取得了很多突破性的研究成果。本文介绍了卷积神经网络的基本原理和计算机中图像的存储，并介绍了卷积神经网络在黑白图像上进行模糊、锐化、边缘检测、浮雕效果、渐变效果等处理的应用。采用不同的卷积核对图像处理会有不同的影响，这对研究图像处理和识别有很重要的意义。

关键词：卷积神经网络;图像处理;卷积核

中图分类号：TP311     文献标识码：A

Abstract：In recent years，Convolutional Neural Network （CNN） has been widely applied in image processing，target detection，etc.，with a series of breakthrough research results.This paper expounds the basic principle of CNN and the storage of images in computer.It introduces the application of CNN on black-and-white image processing such as blurring，sharpening，edge detection，embossing effect and gradient effect.It is shown that different convolution kernels have different effects on image processing，which is very important for studying image processing and recognition.

Keywords：Convolutional Neural Network （CNN）;image processing;convolution kernel

1   引言（Introduction）

隨着计算机性能的不断提高，卷积神经网络（Convolutional Neural Network，CNN）在图像处理和图像识别方面取得了突破[1-3]。传统的多层神经网络由输入层、多个隐藏层和输出层组成。在图像处理问题中，一个像素的灰度值可以由输入层的每个神经元来表示。但是使用传统的多层神经网络会存在两个问题，一是相邻两层的神经元是全相连，训练速度会因为参数太多而受到限制。二是忽略图像的空间结构，将会使识别性能受到限制[4]。鉴于以上问题，卷积神经网络使用了特殊结构来快速对图像进行训练。使多层神经网络易于使用，多层结构可以很大的提高识别准确率[5]。

2    图像处理基础（Fundamentals of image processing）

2.1   图像的存储

图像中的每一个点都有一种颜色。坐标（x，y）表示一个点的位置。每个点的位置（x，y）和这个点的颜色有一定的对应关系，由函数f表示。所以保存图像就相当于将这个函数f在计算机里表示出来。若把图像里所有的点的颜色保存下来，会遇到以下两个困难：首先，图像中有无数点，因此需要将无数点的颜色全部保存。第二，颜色有无数种，所以要以整数形式表示一个颜色，需要无穷多的数字。为了解决上述问题，需要对图像进行数字化处理，包括扫描、采样和量化[6]。扫描是按特定顺序遍历图像的过程。下面分别对采样和量化进行介绍。

2.2   采样

采样的目的是对图像空间坐标进行离散化处理。也即把空间上连续的图像通过一系列操作转换为离散点集的过程，这些点集可用像素表示。图像的空间分辨率可由采样决定。在采样时，将连续图像在空间上划分为M×N个网格，然后对每个小格区域上相应模拟图像的亮度进行平均处理，作为该小方格中点的值;或者，将与方格交点处的模拟图像对应的亮度值作为该小方格交点处的值[6]。采样点的数量与图像质量正相关。它们的关系如图1所示。

2.3   量化

量化的目的是对像素的明暗信息进行离散化处理。也即将采样后得到的各像素的模拟量灰度值转为离散量。量化值一般用整数来表示。量化级数和图像质量也是正相关。图像质量会随着量化级数的增多而变好。同理，量化等级变小时，灰度分辨率会降低，甚至出现假轮廓现象。量化级数和图像质量的关系如图2所示。

3  卷积神经网络（Convolutional Neural Network，     CNN）

卷积神经网络一开始是根据人类视觉系统提出的[7]，并且不断修正，逐渐成为一个非常适合识别和处理图像的多层神经网络。卷积神经网络是深度学习中的一个重要算法，主要由输入层、卷积层、池化层、全连接层和输出层组成[8]。

如图3所示，第一层是输入层，可以是输入多个矩阵，之后是卷积层。在卷积层后面是池化层。卷积层+池化层的组合可以多次出现，在图3中出现了两次。可以根据实际模型灵活地使用卷积层和池化层的组合，并且在构建模型时不限制这些组合。但是若干个卷积层+池化层的组合在卷积神经网络中最为常见。之后是全连接层，全连接层也是深度神经网络结构，只是全连接层可以对输入进行加权求和处理，之后通过激活函数进行输出。

3.1   卷积层

在卷积神经网络中，二维的卷积可以由以下公式表示。

其中，X是输入，W是卷积核。n_in为输入矩阵的个数。Xk代表第k个输入矩阵。Wk是指第k个卷积核矩阵。

卷积核与输入图像一样，一般也是由二维矩阵表示，并且矩阵中的每个数被称为权重。卷积计算时将卷积核矩阵与图像矩阵左上角对齐，然后把卷积核向右平移一个像素，每个权重乘以对应图像的像素，再把这些乘积加起来作为卷积的结果。卷积层一般会通过ReLU=max（0，x）激活函数再进行输出。

3.2   池化层

可以将卷积层中提取到的特征进行训练，来输出分类的结果。但是，如果应用提取到的全部特征进行训练，计算开销会非常大。由于图像的不同局部区域中的特征可能是相同的，所以可以对图像某个局部区域中不同位置的特征进行统计和聚合，这就是池化。池化主要包括最大池化和平均池化。最大池化是指求出指定区域中某个卷积特征的最大值，同样，平均池化则需要求出指定区域中某个卷积特征的平均值。举例采用取最大值的池化方法如下。采用2×2的池化，步幅为2。首先从灰色2×2区域容易看出，最大值为5，那么合并灰色区域，对应的池化输出位置的值为5。以同样的方式，可以获得其他区域的输出值。最终，我们可以用2×2的矩阵表示4×4的矩阵。在池化后图像进行了压缩。最大池化如图4所示。

4   图像处理（Image processing）

本文用黑白lena图像作为输入图像，使用python语言进行图像的读取和处理，并使用3*3的卷积核进行卷积处理。

4.1   图像模糊处理

本实验使用不同的卷积核模糊处理黑白lena图像。首先对图像进行离散化处理。当卷积核分别为W=和W=时，模糊图像如图5所示。

4.2   图像锐化处理

本实验使用不同的卷积核锐化处理黑白lena图像。首先读取图像并将其离散化，之后卷积核分别取W=和W=，锐化图像如图6所示。

4.3    图像边缘检测

本实验使用不同的卷积核对lena图像进行边缘检测。当卷积核分别为W=和W=时，图像边缘检测结果有很大不同。如图7所示。

4.4   图像浮雕处理

本实验使用不同的卷积核对lena图像进行浮雕处理。当卷积核分别为W=和W=时，图像浮雕效果如图8所示。

4.5   图像渐变效果

以下实验将使用不同的卷积核对lena图像进行渐变处理。分别实现图像的垂直渐变和水平渐变。当卷积核分别为W=和W=时，图像渐变效果如图9所示。

5   结论（Conclusion）

卷积神经网络作为深度学习中的一个重要算法，在图像处理方面有很大的优势。卷积核由神经网络学习而得到，它可以提取图像复杂的特征。本文介绍了卷积神经网络在图像处理方面的具体应用，通过不同的卷积核对图像进行了不同的丰富操作，包括图像的模糊、锐化、边缘检测、浮雕效果、渐变效果等，对图像处理和识别有很重要的意义。

参考文献（References）

[1] Kim Y H，Kim H，Kim S W.Illumination normalization using convolutional neural network with application to face recognition[J].Electronics Letters，2017，53（6）：399-401.

[2] Igor Sevo，AleksejAvramovic.Convolutional neural network based automatic object detection on aerial images[J].IEEE Geoscience and Remote Sensing Letters，2016，13（5）：740-744.

[3] He K，ZhangX，RenS，et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，       2015，37（9）：1904-1916.

[4] 李彥冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016，36（9）：2508-2515.

[5]常亮，邓小明，周明全，等.图像理解中的卷积神经网络[J].自动化学报，2016，42（9）：1300-1312.

[6] 朱志刚，林学訚，石定机.数字图像处理[M].北京：电子工业出版社，2007：1-12.

[7] 王振，高茂庭.基于卷积神经网络的图像识别算法设计与实现[J].现代计算机（专业版），2015，7（20）：61-65.

[8] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806-2810.

作者简介：

邢珍珍（1987-），女，硕士，讲师.研究领域：计算机应用.