张拯宁,张林,王钺,李云飞,杨云超

1.清华大学 电子工程系,北京 100084 2.清华大学 深圳国际研究生院,深圳 518055 3.航天恒星科技有限公司,北京 100086

1 引言

基于光学遥感图像的舰船目标识别技术广泛应用于军事和民用领域,例如海上态势评估、重要港口和目标监视、海事救援、非法捕鱼管理等。近年来,遥感卫星的空间分辨率、光谱分辨率和辐射分类率、重访周期等主要技术指标都大幅度提升,能够提供关于舰船目标结构和纹理的精细信息,这些信息为实现细粒度舰船目标识别创造了条件。

当前基于图像的通用目标识别方法已经取得很大进展,识别精度已经得到很大提升。通用目标识别方法主要解决类间差异性显著的图像分类问题,例如区分猫和狗、飞机和汽车等。细粒度目标识别的任务是进一步确定目标所属的子类信息[1],例如识别不同型号的汽车、不同种类的船等。实现细粒度识别的难点在于模型必须能够从总体上高度相似的目标特征之中提取到足以区分各子类的精细局部特征。

更进一步,如果细粒度识别是由粗到精、层次化的,则有助于快速、准确地获取关于目标更丰富的属性信息。面向各类军民用需求,对舰船目标细粒度识别的进一步要求是希望得到逐步细化、具体化的分类结果,也即一种由粗到精、层次化而非扁平化的分类结果。

层次化分类的隐含要求是分类器在各分类层级上输出的分类结果是相互一致的,不应出现矛盾和冲突。如果某一船舶目标在较粗的分类层级被分类为民用船舶,但却在更精细的分类层级被进一步细分为驱逐舰,则该层次化分类结果就不是相互一致的。实现一致性分类不仅在科学上具有重要意义,在工程上也有重大的实际应用价值。当遥感卫星图像的空间分辨率不足以完成满足一定识别精度要求的细粒度分类时,一个合理而且自然的选择是给出其在更粗分类层级的最大似然估计,这比只给出在当前分类层级一个置信度很低的分类结果具有更大的实用价值。例如,如果能够将一张图片中的舰船目标按某种层次化的分类体系识别为“军舰大类中的驱逐舰子类,型号是阿利伯克级”,就比只把该目标简单识别为“一艘船”更有价值。

现有细粒度目标识别方法主要包括三种类别:

1)局部特征法:利用部件标注信息或使用注意力机制等手段提取局部关键特征,实现细粒度识别[2-5]。

2)端到端特征编码法[1]:采用高阶特征交互,设计新的损失函数等方法提升模型对细粒度特征的表示能力[6-8]。

3)外部信息辅助法[1]:利用图像之外的额外信息,例如拍摄地点、文本描述等,协助实现细粒度识别[5,9]。

局部特征法一般需要数据集对目标部件有精细标注或引入注意力机制,在无需额外标注的前提下实现局部特征的定位和提取。外部信息辅助法所需的外部辅助信息常常难以获取。这些方法都是针对有效定位和提取局部关键特征的角度提出的,并没有利用舰船目标分类体系中本身所蕴含的类别隶属信息提高细粒度识别精度。人类在执行图片分类任务时,如果目标类别标签是有意义的文字,则对比无意义的符号,错误率会降低。这说明目标标签的语义信息及其背后所蕴含的先验知识对于提高分类精度有很大价值。上述观察启发我们,如果舰船目标数据集的分类体系是层次化的,且分类标签之间具有一致性,就可以利用该先验知识引导分类器训练,使得其向一致性的层次化分类优化,理应可以提高舰船目标的识别精度。

基于上述动机,本文提出一种层间分类一致性的度量函数并基于该函数构建了多层级兼容舰船目标细粒度识别网络。该一致性度量函数能够定量描述层次化分类结果之间的一致性程度,同时它是可导的,可以作为损失函数用于优化目标识别网络,从而提高细粒度识别精度。该方法本质上属于端到端特征编码法类别。

2 目标层次化细粒度识别相关工作

2.1 层次化分类问题

机器学习中分类任务的目的是建立一个分类模型,将目标与一组不相交类中的一个类建立关联。多数研究工作中,一个目标只被赋予一个类别标签,并假设类别标签之间是无关的,因此分类算法无需考虑类别之间可能存在的联系,这就是单标签分类问题(single-label classification,SC)。现实世界中的分类任务要更复杂,一个目标可能同时属于多个类别,也即它将被同时赋予多个标签,这就是多标签分类问题(multi-label classification,MC)。单标签分类问题中的分类体系是扁平化的,或者说非层次化(non-hierarchical)的。但是在多标签问题中,分类体系中的各类别可能存在明确的显性隶属关系,也即分类体系是层次化的,每一个目标可以被分配层次化分类体系中的多个路径,称为层次化多标签分类任务(hierarchical multi-label classification,HMC)。各类别之间也可能只存在隐性的隶属关系[10],此时分类体系依然是非层次化的。在更普遍意义上,单标签分类问题是层次化分类退化为只有一级分类时的一种特殊情况,而隐性的多标签分类也可以视为层次化分类扩展为类间具有某种概率联系的特殊情况。

层次化分类问题按照类别间隶属关系可以分为分类树(tree)和有向无环图(directed acyclic graph,DAG)两种类型。如果分类体系中,任一类别只有唯一的父类,这就是一个分类树问题,如图1所示;否则,如果一个类别可以有多个父类,那么该层次化分类问题就是有向无环图问题,如图2所示。

图1 分类树

图2 有向无环图

图3 层间弱一致性分类准则的不足

关于层次化分类问题,研究较多的应用主要是针对文本分类[11-13]和蛋白质功能预测[14-15]等,但在图像分类和目标识别领域,该问题研究的还不够深入。

2.2 层次化分类的一致性

层次化分类问题的严格数学定义建立在偏序集的基础上。所谓偏序是指在集合C上的一个二元关系≤满足自反性、反对称性和传递性要求,也即:

由C和≤组成的二元组H=〈C,≤〉满足:

1)自反性:对于任意元素p∈C有p≤p。

2)传递性:对于任意元素p,q,r∈C,如果p≤r,r≤q,则p≤r≤q。

3)反对称性:对于任意元素p,q∈C,如果p≤q,q≤p,则p=q[16]。

给定偏序关系≤,如果p≤q且p≠q,则称p

在定义偏序关系≤、偏序集H后,Kosmopoulos A等对层次化分类任务给出以下定义[12]:

定义1(层次化分类任务):给定一个预先定义的类别集C以及定义在其上的偏序集H=〈C,≤〉,当所有目标实例组成的集合为O时,将下述任务称为层次化分类任务,将布尔值赋予由∀oi∈O和∀cj∈C组成的所有二元组〈oi,cj〉。

给定层次化分类任务后,可以进一步定义层次化分类的一致性。需要指出的是,如果该层次化分类任务是一个在有向无环图上的层次化分类任务,则一个类别可以有多个父类,因此将定义在DAG上的层间一致性称为层间弱一致性分类准则。Kosmopoulos A等给出的层次化分类一致性定义就是一种层间弱一致性分类准则[12]。

定义2(层间弱一致性分类准则):当分配给一个目标实例oi∈O的分类结果Ci∈C满足下述条件时,称该分类结果与给定的层次化分类体系具有弱一致性对于∀ck∈Ci,Ci都包括了其完整的祖先集A(ck)[12]。

由于任何类别都必然属于一个分类体系的根节点,因此上述定义中的C不包括根节点。

2.3 类别重加权损失函数

如果从损失函数设计的角度看待层次化一致性分类问题,那么也可以认为所谓层次化一致性分类就是赋予不同分类层级不同权重。因此,基于层次化分类一致性损失函数的细粒度识别方法也可以视为一种类别重加权方法。加权方法中应用最广泛的是 Tsung-Yi Lin 等提出的 Focal Loss[17],该方法的核心思路是:因为类别不平衡分布导致尾部类别的预测难度提高,那么就可以通过反向利用尾部类别的预测概率给损失函数加权,从而抵消长尾效应。在 Focal loss 的启发下,后续又发展出了 equalization loss[18],balanced softmax loss[19]等方法。GHM(gradient harmonizing mechanism)loss[20]是在 Focal loss 基础上的改进型重加权损失函数,它的核心思路是:对于特别难以分类的样本也不应赋予过大权重,应予以适当抑制。Jiangmiao Pang等提出了 balanced L1 loss 函数用于平衡分类损失和目标位置回归损失[21]。此外,为解决尾部类别正负样本的梯度比例不均衡问题,Jiaqi Wang等提出了 seesaw loss[22],用于动态抑制尾部类别的负样本梯度,同时还增加了对错误分类样本的惩罚。上述各类损失函数,通过重新调整不同类别或不同类型样本的权重,以较小的资源消耗在不同程度上提升了目标识别精度。Junran Peng等针对多标签图像分类方法提出了 concurrent softmax 损失函数[10],用于处理多标签问题可能导致的预测值竞争问题,也可以认为是一种特殊类别重加权方法,它显著提升了多标签图像分类任务的平均分类精度。

3 层间分类一致性准则及其度量方法设计

3.1 层间一致性分类准则

定义 2给出的“层间弱一致性分类准则”要求分类结果中只要出现某一类别,则应同时包括该类别的所有父类和子类,从而与原分类体系保持一致。该定义并不限制分类器给出一致性分类路径的数量,因此该定义相当宽松。即使出现多组实质上相斥的分类结果,也符合层间弱一致性分类准则,但这显然不合理。因此,可以进一步加强限制,如果分类器在层次化分类体系的某一层出现多个分类结果,那么它们之间必须能够不经过根节点而连通。

图 3中所示的层次化分类体系,如果分类器同时给出 0-2-3.1 和 0-3-3.1 两种结果,按照层间弱一致性分类准则,分类结果是一致的。但这并不恰当,因为在分类体系的第 2 层,类别 1 和类别 2、类别 3 并不连通(不考虑根节点时),也即该结果存在矛盾。

基于上述分析,进一步定义给出层间强一致性分类准则如下。

定义3(层间强一致性分类准则)。当分配给一个目标实例oi∈O的分类结果Ci∈C满足下述条件时,称该分类结果与给定的层次化分类体系具有强一致性:对于∀ck∈Ci,Ci都包括了其完整的祖先集A(ck),且对于Ci的任何一层,如果该层的节点数量n>1,则该层的所有节点在C中应可以不经过根节点而连通。

对于分类树任务,由于不存在多个父类的情况,因此上述定义与下述定义等价。

定义4(分类树任务的层间强一致性分类准则)。当分配给一个目标实例oi∈O的分类结果Ci∈C满足下述条件时,称该分类结果与给定的层次化分类体系具有强一致性:对于∀ck∈Ci,Ci都包括了其完整的祖先集A(ck),且Ci的度为1。

换言之,对于分类树上的层次化分类任务,层间强一致性分类准则要求分类器在分类树的每一层,都给出且仅给出一个分类结果;同时,不同层分类结果组成的路径,上一层节点必须是下一层节点的父类。

基于上述层间强一致性分类准则的定义,可定义层间一致性分类任务。

定义5(层间一致性分类任务)。分类器对给定层次化分类任务产生的任何一组标签分配结果都应与该任务对应的层次化分类结构满足层间强一致性分类准则的要求。

3.2 层间一致性分类度量函数设计

(1)分类器设计

层次化分类算法主要包括局部性和全局性两类算法。局部性算法自上而下实现层次化分类,能够保证分类结果满足层间一致性分类准则,但复杂度高,而且容易出现误差传播,并不适合多层级的舰船目标细粒度识别任务。全局性方法在分类器的复杂度方面比局部性方法更低,也不存在误差传播问题。对于基于光学遥感图像的舰船目标细粒度识别任务,需要同时完成目标分类以及定位。当舰船目标类别较多时,如采用全局分类器,就需要同时对全部层级的所有类别分类,在分类精度较低时,可能对目标定位回归任务产生不良影响,同时识别网络的设计也将变得更加复杂。基于上述分析,采用混合性方法是较好的策略,理由如下:

1)在分类树的每一层分别实现一个多分类器,模型复杂度低;

2)在分类树上,由最深一级的任一个类别标签,可以唯一映射得到在其它级别的所属父类;

3)各层使用独立的分类器,可以将分类器与目标识别网络的其它部分相互隔离,特别是对舰船目标识别网络中的定位框回归部分不会产生影响;

4)各层使用独立的分类器,可以灵活输出所需层级的分类结果,方便使用;

5)各层使用独立的分类器,整个识别网络便于实现,同时容易推广应用于各类一阶段和多阶段目标识别方法。

(2)层间一致性度量函数设计要求

一个适用于目标识别网络优化过程的层间一致性度量函数,应满足以下4项基本要求:

1)适用性:适合目前常用的目标识别模型和优化算法,便于集成。

2)准确性:能够定量描述各层级分类结果之间的一致性。

3)鲁棒性:应能够对训练初始过程可能出现的分类不一致情况保持一定容忍度,避免溢出或导致需要采用更复杂的训练策略。

4)高效性:当分类层级增加时,一致性度量的算法复杂度应线性增加。

(3)单标签层间一致性度量函数

不妨设分类器得到在分类树上各分类层级的分类结果为ck,k=0,…l-1,其中l为分类树的最大深度。对应该层分类器的交叉熵损失函数为Lk。

在神经网络训练过程中,Li表征了第i层分类器输出的预测值ci与真实标签yi之间的相符程度。定义单标签层间一致性度量函数如式(1)所示。

(1)

式中:pt-k为当前所关注的分类层级(即t层,不加说明时,均指分类树上的最深一层)与第k层的转移概率。单标签层间一致性度量计算过程如算法1所示。

算法1:单标签层间一致性度量算法

输入:当前分类层级分类结果ct与真实标签yt,保持层间分类一致的其它分类层级分类结果ck,k∈[0:l-1]

输出:单标签层间一致性度量指标Lc(t)

1)根据yt映射得到其它分类层级的真实标签yk

2)根据ct和yt计算当前分类层级的交叉熵损失Lt

3)for每一个k∈[0,l-1]do

4)根据ck和yk计算当前分类层级的交叉熵损失Lk

5)End for

由于训练集样本在各分类层级的标签都是层间一致的,因此,所有各层分类器的交叉熵损失函数之和Lc(t)就表征了在整个分类树上,神经网络预测结果与整个真实分类路径的相符程度。如果在某一层的预测值与真实标签不符,则交叉熵比相符时必然增大,换言之,Lc(t)定量描述了层间一致性程度。

算例:不妨设两个分类层级Level 3和Level 2的类别标签及神经网络全连接层输出的预测值如图4所示。

图4 单标签层间一致性度量函数算例

当Level 3及Level 2层的实际预测值保持层间一致时,也即神经网络输出的类别预测结果与类别标签均保持一致时:

不妨设p3-2=1,则:

Lc(3)=L3+p3-2L2

当层间一致性被破坏时,L2=1.1003,Lc(3)=2.5445,损失函数Lc(3)增大,因此,神经网络将向层间一致方向优化。

(4)多标签层间一致性度量函数

单标签层间一致性度量函数虽然可以定量描述不同分类层之间的分类一致性,但由于计算 Softmax 函数时并未考虑任意两标签之间的关联,结果不够准确。为进一步提升层间一致性度量函数的准确性,需要将其扩展到多标签。由于可以方便地由一个分类树的最深一级类别标签映射得到其他分类层级的类别标签,同时也可以将不同分类层对应全卷积层输出的预测值拼接为一个向量,因此可将多个单标签分类任务转化为一个多标签分类任务,如图5所示。

图5 单标签分类问题转化为多标签分类问题

当单标签分类任务转化为多标签分类任务后,每个目标实例对应的类别标签就不再是独热(one-hot)类型了,而是会出现组有效标签,如图6所示。

图6 多标签分类问题标签级联

Junran Peng等已证明,对于多标签分类问题,如果采用标准Softmax激活函数计算交叉熵损失函数,则可能出现预测值竞争问题,导致网络向错误方向优化[10]。

定义集合K={k∣k∈C,yk=1},则当样本标签i∈K时,yi=1。

根据上式可知,如果样本i∈K,且mσi>1时,则这些样本产生的梯度反而小于i∉K样本产生的梯度,这就产生了前述的预测值竞争问题。

为避免预测值竞争,在激活函数中引入惩罚项,当各有效标签具有父子关系时,将该项预测值置零,只计算没有类别隶属关系的标签预测值。定义一种新的多标签层间一致性度量函数如式(2)所示。

(2)

式中:Lmlc为多标签层间一致性度量函数,σ′为带有惩罚项的激活函数。

多标签层间一致性度量计算方法如算法2所示。

算法2:多标签层间一致性度量算法

输入:当前分类层级分类器的预测值zt与真实标签yt,保持层间分类一致的其他分类层级分类器预测值zk,k∈[0:l-1]

输出:多标签层间一致性度量指标Lmlc

1)根据yt映射得到其他分类层级的真实标签yk

2)将zt与zk,k∈[0:l-1]拼接为zi,i∈[0:C′]

3)for每一个i∈[0,C′]do

5)end for

6)for每一个i∈[0,C′]do

8)end for

求导可得:

Lmlc相比Lc度量层间一致性程度更准确,但它存在一个潜在的鲁棒性问题。由于Lmlc考察了所有分类层之间的一致性,在网络训练初期,分类一致性很差,这就导致全连接层输出的预测值zi较大。无论是Softmax函数σ还是加入惩罚项的Softmax函数σ′,都需要进行大量指数运算,因此很容易溢出,而这将造成网络的训练过程不稳定。

Lmlc存在的另一个问题是计算复杂度较高。不妨设分类树共有l层,每层的类别数量均为C个,Lmlc的计算复杂度为O(l2C2)。当分类层级增加时,Lmlc的计算量将迅速增加。

(5)多标签层间一致性度量函数

为提高Lmlc的计算效率和鲁棒性,可以不把所有分类层合并为一个统一的多标签问题,而只两两合并,从而降低计算复杂度。因此,对于一个l层的分类树,在考察最深一层的层间分类一致性时,只需要计算l-1个多标签层间一致性函数。定义改进的多标签层间一致性度量函数如式(3)所示。

(3)

式中:M为与当前层兼容的其他层级总数;Lmlc(m)为当前层与第m分类层级的多标签层间一致性度量函数;γ(m)为当前所关注的分类层级的一致性权重。

4 多层级兼容舰船目标细粒度识别网络设计

为验证层间一致性度量函数作为损失函数可以提升舰船目标细粒度识别精度,基于两阶段目标识别网络Faster-RCNN[23]实现多层次分类,并将层间一致性度量函数作为分类损失函数纳入总的损失函数中,用于优化网络。由于该舰船目标识别网络可以实现多层级兼容的细粒度识别,将其命名为“多层级兼容的舰船目标细粒度识别网络(multi-level consistent ship detection network,MLCDet)”。MLCDet的网络结构如图7所示。

图7 多层级兼容舰船目标细粒度识别网络结构

MLCDet的总体结构与Faster-RCNN网络完全相同,由骨架网络(backbone)、特征金字塔(FPN)、候选区推荐网络(RPN)和分类及回归头(RoI head)组成。骨架网络采用残差网络(residual network,ResNet)[24]。特征金字塔的作用是融合多尺度特征,同样为验证层间一致性损失函数的作用,沿用通用方案,不做特别改动。

在上述网络结构中,骨架网络、特征金字塔模块与是否为层次化分类并没有直接关系。是否包含候选区推荐网络是区分一阶段和多阶段网络的关键,在该模块中也会计算针对正负样本的分类和损失函数,通常使用交叉熵函数作为分类损失函数,使用SmoothL1函数作为回归损失函数。这两个损失会被传递到分类和回归头模块,计入总的损失函数进行训练,从而不断优化网络。需要指出的是RPN网络中的分类任务仅仅为了区分是否为目标,因此无需考虑多层次分类的一致性问题。

根据上述分析,为实现多层兼容的一致性分类,只需要在分类和回归头模块按照3.2节给出的分类器设计思路实现多个层级的分类器即可。RoI head模块接收到RPN网络输出的2000个RoIs,由于其数量太多,先通过非极大值抑制算法(non-maximum suppression,NMS)将数量减少为128个,再通过RoI pooling操作将其池化为相同尺寸,便于后面输入全连接进行分类和位置回归。

L=αLRPN+βLreg+γLconsisitent

5 试验结果

5.1 数据集设置

对于细粒度舰船目标识别任务,主要有3个代表性数据集,分别是 HRSC2016[25],FGSD[26]和ShipRSImageNet[27]。其中ShipRSImageNet是迄今为止最大规模的舰船目标细粒度识别光学遥感图像数据集,共有3435 张图像和17573个目标实例,提供了精确的水平矩形框和旋转矩形框标注。由于该数据集包括 4个层级(Level 0～Level 3),总共50类别目标。其中Level 0表示是否为舰船目标;Level 1级进一步区别目标大类,是军舰还是民用船舶;Level 2级为子类,例如军舰大类包括潜水艇、航母、驱逐舰等子类;Level 3级为型号,例如航母子类包括尼米兹号、企业号等。本文所开展的舰船目标细粒度识别指Level 3级的识别。

ShipRSImageNet数据集的不同层级之间的标注信息符合层间强一致性分类准则,因此适用于验证本文提出的方法和网络模型。

5.2 试验设置

(1)试验设计

为充分验证方法的有效性,分析在不同层级之间的类别依存关系下,使用层间分类一致性准则对舰船目标细粒度识别精度的影响,共设计了4组试验。

1)试验1:分别针对ShipRSImageNet数据集的Level 3与Level 0、Level 3与Level 1、Level 3与Level 2以及Level 3同时与Level 0～Level 2保持一致,共4种情况;使用单标签一致性度量函数作为损失函数Lc,所有损失函数权重均取2.5开展试验。

3)试验3:针对Focal loss等类别重加权损失函数开展细粒度识别的对比试验。

4)试验4:损失函数权重的消融试验,针对试验1和试验2,损失函数权重γ取1或0.5开展对比试验。

(2)超参数设置

所有的试验均使用PyTorch框架[28]和MMdetection toolkit[29]实现为加速模型训练,MLCDet的骨架网络加载在ImageNet上的预训练权重文件作为初始值。所有试验均基于Faster R-CNN模型框架,骨架网络均使用ResNet50,骨架网络之后均使用特征金字塔(FPN)。模型训练时均采用SGD优化算法,初始学习率为0.001,在初始时的500次迭代中学习率(learning rate)按步(step)线性增加。最大迭代次数均为100个循环(epochs),在第80～90个循环时,降低学习率。动量因子(momentum)取0.9,权重衰减因子(weight decay)取0.0001。未说明的其他训练参数均使用MMdetection提供的默认参数。

(3)性能评价准则

为评价舰船目标细粒度识别精度,同时便于和同类方法比较,采用MS-COCO数据集所提出的平均精确率均值(mAP)作为主要考察指标,综合考察模型对所有类别目标实现的识别精度。

5.3 在ShipRSImageNet数据集的定性试验结果

在ShipRSImageNet数据集中随机取样开展定性试验,结果如图8所示。试验使用多标签一致性度量函数,与Level 0分类级别保持一致时训练得到的模型。图8上左为近岸民用船舶,图8上右为密集排列多尺度船舶,图8下左为海面小目标,图8下右为海面军舰4种典型场景和目标的试验结果。在上述场景中,本文提出的方法均可以有效识别各类舰船目标。

图8 ShipRSImageNet典型场景和目标定性识别结果

5.4 在ShipRSImageNet数据集的定量试验结果

按照5.2节给出方案进行试验,试验1和试验2结果分别见表1和表2,加粗字体表示性能最优值。

表1 单标签一致性度量函数(试验1)结果

表2 多标签一致性度量函数(试验2)结果

多层兼容舰船目标细粒度识别网络与其他类别重加权损失函数的对比试验结果如表3所示。

表3 MLCDet与其他方法的性能比较

对比基准方法,多层兼容舰船目标细粒度识别网络的总参数量仅增加0.02%,推断速度不变,详见表4。

表4 MLCDet的总参数量与推断速度

使用不同损失函数权重时的消融试验结果见表5。

表5 消融试验(试验4)结果

根据上述试验结果,可以得到以下主要结论。

1)改进多标签一致性度量函数作为损失函数时,模型识别精度显著优于单标签一致性度量函数;

2)改进多标签一致性度量函数和单标签一致性度量函数都可以提升模型识别精度,但单标签一致性度量函数带来的性能增益并不显著,而改进多标签一致性度量函数可以显著提升mAP;

3)使用改进多标签一致性度量函数时,选取Level 0作为分类一致层级,取得最佳结果,mAP提高了1.3%;

4)同时与多个层级保持分类一致性,将会引入更多约束,同等训练时间情况下,带来的mAP增益低于只与一个层级保持分类一致性的结果;

5)损失函数权重γ的取值对模型性能有较大影响;

6)改进多标签一致性度量函数性能优于类别重加权损失函数Focal loss,seesaw loss,balanced l1 loss,比GHM loss性能略低。

选用不同一致性度量函数或损失函数权重对模型复杂度和推断速度无影响。根据试验,模型总参数量对比faster R-CNN基准网络,增加0.02%,推断速度不变。

6 结论

本文针对舰船目标的层次化分类问题,建立了数学模型,提出了层间分类强一致性分类准则,设计了单标签一致性度量函数和多标签一致性度量函数。以两阶段目标识别网络Faster R-CNN为基础框架,构建了多层级兼容舰船目标细粒度识别网络(MLCDet)。在ShipRSImageNet数据集上开展了充分试验,证明了应用层间强一致性分类准则,可以将层次化分类体系中蕴含的各类别隶属关系信息作为先验知识用于提高舰船目标细粒度识别精度。本文所提出的算法在无需部件级标注信息的前提下,将mAP提高了1.3%,与此同时,模型总参数量仅增加0.02%,推断速度不变。综上所述,利用层间分类强一致性分类准则,通过将层间一致性度量函数纳入损失函数,可以将关于目标层次化分类的先验知识引入神经网络的训练优化过程,有助于提升目标识别精度。其他类似的细粒度目标识别任务也可根据已知多层级分类信息建立分类树,应用层间分类强一致性分类准则和本文提出的方法以很小的资源代价,有效提高识别精度。