戚 超，王晓峰

(上海海事大学 信息工程学院，上海 201306)

基于卷积神经网络的运输船舶分类识别方法

戚 超，王晓峰

(上海海事大学 信息工程学院，上海 201306)

为了解决运输船的精细分类识别问题，针对在港口、航道拍摄的大量运输船图像，将一个8层卷积神经网络和支持向量机结合起来，通过用运输船训练集对网络进行监督训练，然后提取卷积神经网络第一个全连接层的特征，训练支持向量机后便可以对运输船进行分类识别，最后与其他全连接层的特征进行对比。实验结果表明，该方法能够实现运输船类型精细分类识别，平均检测准确率达到88.6%。

船舶识别；卷积神经网络；支持向量机

0 引言

近年来，随着我国对外经济贸易的不断增长，以及一带一路和海上丝绸之路战略的实施，海上交通日益繁忙，船舶数量、水域交通密度及危险货物的装载不断增加，港口的船舶出入频繁，各种海上交通事故及海难时有发生。对船舶进行有效的识别，不仅对船舶的安全驾驶和海上交通安全管理具有重要作用，并且可以将其技术应用到VTS系统中，快速识别各种船只，有利于提高港口通航以及巡航救助的能力，对国家的海上安全也具有重大的应用价值。

船舶识别一直是模式识别领域的研究热点之一。2014年蒋少峰等提出基于结构特征的SAR商用船舶分类算法[1]，可对散货船、集装箱船和渔船进行分类；随着神经网络方法的兴起，2015年梁锦雄用BP神经网络对航空母舰、驱逐舰、护卫舰、客船、集装箱船、油船这6类船舶的红外图像进行识别[2]；2016年Katie Rainey设计了针对卫星船舶图像分类的卷积神经网络(Convolutional Neural Networks，CNN)，并达到一个较好的分类效果[3]。相比于SAR图像和红外图像，数字图像能够提供更为丰富的视觉信息，2016年赵亮等人利用卷积神经网络对数字船舶图像提取特征，然后融合HOG和HSV特征构建船舶图像特征，再用支持向量机(Support Vector Machine，SVM)方法对集装箱船、客船、渔船、军舰、帆船进行分类[4]。

现有的这些研究虽然取得了较好的识别效果，但是其针对的主要是船舶形状差异大、背景单一的船舶图像库。在现实港口、航道拍摄的大量运输船图像，背景复杂、船体形状差异较小以及拍摄角度造成相似度高，使得传统的方法对船舶图像进行分类识别并不能得到较好的效果。如何有效提高这类船舶图像识别的效果是目前船舶图像识别研究的一个难点。

随着深度卷积神经网络在图像分类任务中取得突破性的进展，吸引了许多学者和研究人员投入其中，其中贾杨清等人研究表明，利用ImageNet上分类训练好的深度CNN模型提取深度卷积激活特征[5](Deep Convolution Activation Feature，DeCAF)，结合不同的分类器在场景识别、鸟类识别等任务都取得了很好的效果，实验表明基于AlexNet[6]网络的第六层全连接层(DeCAF6)的特征无论在鸟类识别、目标识别任务中都表现出优于其他层特征。为此，本文采用AlexNet网络，引入深度卷积激活特征，针对具有复杂背景的运输船数据集进行网络训练，然后提取该网络的DeCAF6特征，结合SVM分类器，对集装箱船、散装货船、油气船三类相似程度高的运输船进行精细分类识别。本文尝试在卷积神经网络中寻找最好的特征表示层，结合SVM分类器，通过提取图像的高级语义特征提高CNN对特征的分类能力。

1 识别方法描述

1.1主要思想

简略地说，深度卷积神经网络的主要工作原理是利用卷积核、下采样和池化的方法逐层、逐级地抽取待识别的图像特征，在网络输出端对最终特征进行分类处理。层数的选择和特征提取密切相关且对分类效果影响极大，是运用CNN进行模式分类的关键问题之一。

本文所使用的深度卷积神经网络是基于AlexNet模型构建的一个8层网络结构，通过在本文构建的运输船数据集上训练，得到卷积神经网络全连接层的特征图，提取深度卷积激活特征，用SVM分类器进行分类。由于在该网络结构中总共有3个全连接层，选择哪一层作为SVM分类器的输入能得到更好的分类效果，根据贾杨清等人研究实验表明：处在卷积神经网络前面的卷积层的特征图包含的语义有限，后面全连接层的特征图是由底层到中层的卷积层局部特征激活得到的，包含的语义信息更丰富，DeCAF6特征无论在物体分类、识别，还是在细粒度物体分类中都表现出优于其他层特征，因此本文采用深度卷积神经网络的DeCAF6层特征，将其用于SVM分类器的输入端，以便获得一个较好的分类效果。

本文的船舶识别系统结构如图1所示。在训练阶段，首先利用自己创建的船舶图像数据集对AlexNet模型进行有监督训练，待训练结束后，提取该网络的第六层网络特征应用于SVM分类器进行训练；测试阶段，测试图像经过与训练阶段相同的预处理、CNN特征提取，然后将所得的图像特征作为训练阶段已训练好的SVM分类器的输入，其输出就是船舶图像的预测标签。

图1 船舶识别系统结构

1.2图像预处理

CNN作为一种神经网络，其结构是相对固定的，但是船舶图像尺寸大小各异，因此需要对图像进行预处理，以便能够使不同大小的图像输入到固定结构的卷积神经网络中进行训练。

预处理过程主要包括两个步骤：

(1)将所有的船舶图像的尺寸统一调整为CNN在训练时所设计的输入大小。针对本文构建的卷积神经网络，该网络输入有3个通道，图像大小缩放为227×227。

(2)去均值，即对图像上的每个像素的值减去平均值，对于本文的RGB图像，要分别处理RGB三个通道上的像素值。

1.3 CNN结构设计

本文所使用的深度卷积神经网络是ImageNet平台上的AlexNet网络，该网络有5个卷积层、3个池化层和3个全连接层，从表1所给出的参数可知，由于船舶图像的分辨率大小不一致，对图片进行预处理，在第一层卷积层中用96个不同的大小为11×11的卷积核对输入层进行卷积，滑动窗口步长为4，得到第一层卷积层，之后对这层卷积层进行线性偏移函数的转置和池化操作，激活函数选用的是线性修正单元函数[7](Rectified Linear Unit, ReLU)。池化过程选择重叠池化，对卷积层3×3的邻域点中取最大值，滑动窗口步长为2，最后再进行局部响应归一化后得到第一层的特征图，通过相同的操作就可以得到第二层的特征图；第三、四层只有卷积和池化过程且参数都是一样的；第五层卷积操作之后经过线性偏移函数转置再进行池化操作，最终得到256个6×6的特征图，紧接着的第六层是第一个全连接层，将第五层所得全部特征图进行连接得到4 096维的向量。通过相同的操作得到第七层特征向量，第八层是Softmax，输出决策结果。

本文使用的局部响应归一化(Local Response Normalization, LRN)方法，能够提升网络的泛化能力。另外为了防止过拟合，在每个全连接层后面使用了“dropout”[8]的技术，使网络学习到更为鲁棒的特征。

1.4 CNN训练

本文用彩色的运输船图像数据训练AlexNet模型，在已训练好的AlexNet模型的基础上，再用运输船图像库的训练集对这个模型进行再训练，通过观察测试图像集上的图像精度判断训练效果[9-10]。在开始训练前,模型每一层权值的初始化都要通过一个均值为0、均方差为0.01的高斯分布进行初始化。

表1 本文深度卷积神经网络的结构

卷积神经网络的训练分为两个阶段：

(1)前向传播阶段。从图像库训练样本集中抽取一个样本(x,y),将x输入到CNN网络上，上一层的输出就是当前层的输入，逐层传递下去，最后得到Softmax层的输出y′。y′是一个3维的向量，其元素分别代表着x被分到给定类别的概率。

(2)后向传播阶段。比较Softmax层的输出y′与给定样本集的类别标签向量y的误差，并使用最小化均方误差代价函数的方法调整权值参数，其他层的误差只能从输出层向输入层方向逐层后推得到。

通过这两个阶段的训练，可以得到该网络所有层的权值参数，从而得到卷积神经网络模型。网络采用随机梯度下降的方法，将批量尺寸设置为100，动量系数为0.9，权值衰减系数为0.000 5，初始学习率为0.000 1，通过90次的循环训练便得到了卷积神经网络。

1.5 SVM训练

实验表明，用训练好的卷积神经网络模型对运输船图像提取特征，由于SVM分类器对大数据高维特征的分类支持较好，而且研究表明SVM效果比模型中的Softmax分类器直接分类效果好很多，因此本文选择SVM分类器，通过在运输船数据集上训练卷积神经网络，得到卷积神经网络的模型，然后提取第六层的船舶图像特征，结合训练集船舶图像标签训练并得到一个SVM分类器。然后使用这个训练好的SVM分类器进行船舶识别。

2 实验

2.1数据集和实验环境

本文所采用的运输船图像库是从中国海事网船舶图像集中以及百度图片、Google图片中收集，分别收集了集装箱船、油气船、散装货船这3类船舶图像，如图2所示，这些运输船在拍摄角度不同、背景复杂以及船舶形状差异小等因素下都造成船舶图像区别难度高。本文实验船舶图像总共3 000张，每类1 000张，随机选取2 400张图像作为训练集，600张作为测试集。

图2 船舶图像库部分样例(原图为彩色)

实验全部在MATLAB2014a平台上进行，使用Matconvnet[11]和LibSVM这两个第三方包，Matconvnet是专门为训练卷积神经网络的使用MATLAB的第三方开源包，LibSVM是台湾林智仁教授2001年开发的一套支持向量机的库，可以快速、简便地对数据做分类或回归。

2.2实验结果及分析

本文采用8层的卷积神经网络结构，有5个卷积层，如图3所示，5个不同的卷积层对应着不同的特征图，将本文网络结构中前5个卷积层所得到的特征图可视化。第一、二层卷积层学习到的基本是颜色、边缘等低层特征，从第三层到第五层开始，特征的可解释性变差，特征变得局部且稀疏。

图3 不同卷积层得到的特征图

表2给出了本文中不同方法对运输船的识别率，从表2给出的数据可知，使用传统的8层卷积神经网络结构方法对运输船的识别效率达到83.33%，而使用卷积神经网络提取特征，将在第六层所提取的特征应用到SVM分类器中，即DeCAF6+SVM方法达到88.66%的识别率，使用第七层的图像特征对运输船的识别率达到84.17%，实验验证了本网络第六层特征对运输船识别效率最好。从表2中数据可知，散装货船和油气船的识别率相对较低，这是由于拍摄角度、运输船形状相似的原因造成散装货船和油气船不好区分，而且这两个类型的运输船和集装箱船相比，集装箱船最明显的特征是集装箱，所以集装箱船比其他两种识别率高。为了验证本文方法的有效性，在本文数据集上又测试了赵亮等人所提出的船舶识别方法，将卷积神经网络提取的特征、HOG和HSV特征三者融合起来，从表2可以看出，其船舶识别方法的识别率只有85%，HOG和HSV特征并不能很好地区分运输船，文献[4]所提出的方法主要是针对船舶形状差异大的船舶类型，使用全局特征对运输船进行精细分类效果不佳。而本文使用层次更深的卷积神经网络进行识别，旨在得到更有区别性的局部特征。

表2 运输船分类识别结果 (%)

复杂背景的运输船舶精细分类是一个具有挑战性的问题，本文虽然取得了较好的分类效果，也存在一些不足：

(1)在图像库的建立方面，为使研究更加有实际意义和使用价值，应进行更多类别的实验，完善船舶图像数据库。

(2)在图像特征选取方面，应该进一步研究具有辨别性的局部特征，与卷积神经网络提取的特征进行融合，提高图像识别的精度。

3 结论

本文通过基于AlexNet构建的8层卷积神经网络结构对运输船图像进行训练，利用卷积神经网络能够提供较好的局部特征，提取该网络第六层的特征，通过SVM分类器进行分类识别，很好地解决了这些由于拍摄角度、背景复杂以及船体形状相似等原因造成识别难度大的运输船精细分类的问题，并最终达到平均识别率为88.6%。本文不仅验证了该方法在船舶类型精细分类具有较高的检测准确率，也说明了卷积神经网络在船舶识别具有较好的特征提取能力，同样该方法对于实现船舶航行安全也具有重要意义。

[1] 蒋少峰, 王超, 吴樊,等. 基于结构特征分析的COSMO-SkyMed图像商用船舶分类算法[J]. 遥感技术与应用, 2014, 29(4):607-615.

[2] 梁锦雄,王刻奇.基于BP神经网络的船舰目标识别分类[J].舰船科学技术, 2015, 37(3):206-209.

[3] RAINEY K, REEDER J D, CORELLI A G. Convolution neural networks for ship type recognition[C]. SPIE Defense+Security, 2016,9844:09.

[4] 赵亮, 王晓峰, 袁逸涛. 基于深度卷积神经网络的船舶识别方法研究[J]. 舰船科学技术, 2016, 38(15):119-123.

[5] DONAHUE J, JIA Y, VINYALS O, et al. DeCAF: a deep convolutional activation feature for generic visual recognition[J]. Computer Science, 2013, 50(1):815-830.

[6] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems, Curran Associates Inc, 2012:1097-1105.

[7] NAIR V, HINTON G E. Rectified linear units improve restricted boltzmann machines[C]. International Conference on Machine Learning, 2015:807-814.

[8] HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012, 3(4): 212-223.

[9] RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off the shelf: an astounding baseline for recognition[C]. CVPR2014, DeepVision Workshop, 2014:512-519.

[10] YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[J]. Eprint Arxiv, 2014, 27:3320-3328.

[11] VEDALDI A, LENC K. MatConvNet: Convolutional Neural Networks for MATLAB[J]. Eprint Arxiv, 2014:689-692.

Transport ships recognition method based on convolution neural networks

Qi Chao, Wang Xiaofeng

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

In order to solve the problems of the fine classification of transport ships, this article combined 8 layers convolution neural network and Support Vector Machine (SVM). Firstly introduced 8 layers convolution neural network structure, and it was obtained by supervised training with labeled training data, then extracted the feature of the first full connection layer of convolution neural network, after training SVM, the transport ships can be classified and identified. Finally, we compared the performance with other full connection layer. Experimental results show that the proposed method can realize fine classification of transport ships, and detection accuracy is 88.66% on average.

ship recognition; convolution neural network; support vector machine

TP391.41

：A

10.19358/j.issn.1674- 7720.2017.17.015

戚超，王晓峰.基于卷积神经网络的运输船舶分类识别方法[J].微型机与应用，2017,36(17)：52-55.

2017-03-11)

戚超(1992-)，男，硕士研究生，主要研究方向：图像识别与深度学习。

王晓峰(1958-)，男,工学博士，教授，主要研究方向：人工智能、数据挖掘与深度学习。