向 伟, 史晋芳, 刘桂华, 徐 锋, 黄占鳌

(1.西南科技大学 制造科学与工程学院,四川 绵阳 621010; 2.西南科技大学 制造过程测试技术省部共建教育部重点实验室,四川 绵阳 621010; 3.西南科技大学 特殊环境机器人技术四川省重点实验室,四川 绵阳 621010)

0 引 言

水面生活垃圾自动清理船体积小,工作机动灵活效率高。水面垃圾有效识别是水面垃圾自动清理船清理水面垃圾的第一步。目前针对水面垃圾识别的相关研究并不多。王斌和叶晓杰人等采用基于红外图像的检测方法来识别水面物体[1,2],但受到水面环境复杂多变和水面目标众多的干扰,导致识别率低下。李昀峰等人采用目标显著性区域提取技术的检测方法来识别水面物体[3,4],但目标显著性区域提取技术容易受到水面物倒影和波纹的干扰,导致识别受到影响。薛萍采用超像素识别率分割方法对水面物体进行分割识别[5],但会受水面波纹影响。方晶等人采用视觉注意机制的目标检测方法来识别水面目标[6],但水面气候复杂、目标众多会影响识别精度。魏建荣采用基于纹理特征的水面目标检测方法[7],该方法易受水面建筑物和岸体轮廓的干扰,影响水面垃圾识别。

深度学习具有深层神经网络,深层神经网络拥有多个隐藏层的人工神经网络具有非常强大的特征学习能力,通过训练模型提取的特征对原始输入数据形成了更高效的特征提取[8～10]。卷积神经网络是深度学习中的一种较为成功的模型,在图像分类和图像识别领域较为突出[11～13],所以将深度学习卷积神经网络方法运用来识别水面垃圾。

本文采用改进的CaffeNet网络能减少水面复杂环境对垃圾识别的干扰,提高了水面垃圾的识别率。

1 卷积神经网络模型

1.1 CaffeNet神经网络模型

CaffeNet第一层输入数据大小为227×227×3,卷积核大小为11×11,卷积核数量(num_output)为96,步长(stride)为4,卷积后数据大小为55×55×96,经过relu1后数据大小不改变。接着进行池化,pool1核大小为3×3,步长(stride)为2,pool1后数据大小为27×27×96,接着进行大小为5×5的归一化处理。

CaffeNet第二层输入数据大小为27×27×96,图像边缘扩充层数(pad)为2,卷积核大小为5×5,步长(stride)为1,卷积核数量(num_output)为256卷积后数据大小为27×27×256,经过relu2后数据大小不改变,接着进行池化,pool 2核大小为3×3,步长(stride)为2,pool2后数据大小为13×13×256,接着进行归一化处理,归一化运算的尺度为5×5[16]。

CaffeNet第3、第4层只进行了Conv和ReLU。第五层使用了卷积、ReLU、池化操作。在得到第5层的结果后,将结果变成一个长向量,输入到传统的神经网络中,最后3层使用全连接的网络结构。

1.2 改进CaffeNet网络模型

1)CaffeNet模型的卷积核较大,用来识别水面倒影效果较差,为了提取到更精确的水面特征,需要缩小卷积核的大小,减小水面波纹和物体倒影的影响。把第1层卷积核的大小进行调整实验,当卷积核大小为9×9时对水面物体倒影的识别情况最好,把第1层的卷积核大小改为9×9。

2)CaffeNet模型第3层和第4层的特征提取能力和分类效果比前面两层好[17],第3层和第4层的卷积核个数为384,把第3层和第4层的卷积核个数增加到398,以增强模型的特征提取能力。

3)CaffeNet第4层的分类效果要强于前面各层[18],在第3层与第4层之间增加一层稀疏结构Inception module,使其增加网络的宽度和深度,从而提升该深度卷积网络模型性能。

稀疏结构如图1所示。

图1 稀疏结构

在3×3,5×5卷积操作之前使用1×1卷积核,有降维和增强网络的特征提取能力的作用。接下来进行卷积特征提取,Inception module中1×1卷积核,3×3卷积核,5×5卷积核,能将多尺度特征集合在一起,让后一层网络能同时提取不同尺寸下的特征,增强网络特征提取能力。

2 实验平台和数据

2.1 实验平台

实验的深度神经网络搭建在caffe深度学习框架上,运用Python语言编程实现,工作站为戴尔T7810工作站,内存为16 G,显卡为MT4000,双核cpu12核心,3.4 G主频。自动清理船内部有GPS导航设备,船体前方顶部安装一部高度为1 m的海康400万像素监控摄像头,镜头可以小幅转动,摄像机采集到水面垃圾图像后将图像传到工作站进行实时处理。

2.2 样本采集

水面垃圾自动清理船图像采集地点在大型湖泊上,晴天和阴天湖面状态有较大差异,需要采集到晴天和阴天不同时刻大量的水面垃圾样本。

为了提高水面垃圾识别的准确率,需要增加样本量和样本种类。本实验中采集了大量垃圾样本以及对垃圾识别影响比较大的非垃圾样本。水面漂浮的玻璃瓶子由于阳光照射产生和波纹相似的反光,会对水面垃圾识别造成干扰,所以将垃圾样本分为水面玻璃瓶子垃圾和生活垃圾。由于水面环境复杂,水面桥梁、水面物体倒影和水面波纹变化等均可能被识别为垃圾,所以将这些复杂环境样本做为非垃圾样本进行学习和训练。

2.3 样本增强

在图像的深度学习中,为了丰富图像训练集,更好地提取图像特征,泛化模型(防止模型过拟合),将样本图像进行数据增强,常用的方式：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小和增强图像噪音[19]。

收集到各类样本各1 500张,然后进行数据增强,把每种类型的图片通过随机翻转、颜色抖动等方式进行处理,把样本大小统一为256×256。样本增强后,把总图片按照4︰1方式进行分配,得到的5组样本分别是水面桥梁、水面瓶子、水面垃圾、水面物体倒影和水面波纹,每种类型样本用1 200张作为训练,300张作为测试。

3 实验分析

设计实验将CaffeNet网络与改进CaffeNet网络进行对比,均在caffe框架中训练5 000次,基础学习率均为0.01,动量系数为0.9,CaffeNet网络与改进CaffeNet网络测试的准确率和实验损失函数变化情况如图2所示。

图2 准确率和损失函数变化曲线

从图2(a)可知,三角型线条为CaffeNet网络的正确率变化曲线,圆点线条为改进后CaffeNet网络的正确率变化曲线。随着迭代次数的增加,准确率逐渐上升,CaffeNet网络和改进CaffeNet网络均3 000次左右收敛,CaffeNet网络测试集准确率为89.29 %,改进CaffeNet网络测试集识别率为95.75 %。

图2(b)是网络训练时损失函数(Loss function)输出值(loss值)的变化图,可以看出随着训练次数的增多,loss值逐步降低,当训练次数达到3 000次时,CaffeNet网络和改进CaffeNet网络均趋于稳定。

使用修改后的模型对测试集进行测试得到新识别率,同原模型识别率对比如表1所示。

表1 CaffeNet改进前后识别率对比 %

从测试结果中可以看出,增加稀疏结构的模型在识别水面桥梁、瓶子、垃圾、物体倒影和波纹上均得到提升,改进后的模型对倒影的识别率有较大的提升,下面分别用改进前后的CaffeNet模型随机对水面5种样本进行识别测试,测试结果对比如图3(a)和(b)所示。

图3 CaffeNet改进前后识别率对比

在图3中,从左到右分别为模型改进前与改进后对水面桥梁、玻璃瓶子、生活垃圾、物体倒影和波纹的识别情况。模型改进前的测试结果显示,图(a)中第1幅识别为水面桥梁的概率是93.87 %,第2幅识别为水面玻璃瓶子的概率是97.76 %,第3幅图识别为水面生活垃圾的概率是96.68 %,第5幅图识别为水面波纹的概率是96.61 %,这几种水面复杂情况图识别都正确。第4幅图识别错误,将倒影识别为垃圾和倒影本身的概率分别为48.96 %和43.96 %,这种错误识别将对识别造成干扰。

改进后测试结果显示,第1幅图是识别为水面桥梁的概率是98.91 %,第2幅图识别为水面玻璃瓶子的概率是99.93 %,第3幅图识别为水面生活垃圾的概率是99.89 %,第4幅图识别为水面物体倒影的概率是96.23 %,第5幅图识别为水面波纹的概率是99.93 %,识别都正确。

4 结 论

对水面瓶子、水面垃圾、水面倒影、水面波纹和水面桥梁这5种较为复杂的水面情况进行识别,总识别率达到了95.75%,实验结果证明了运用深度卷积网络在水面垃圾识别上有较好的效果,能够解决实际应用需求,具有很好的应用前景。