崔海华 徐振龙 杨亚鹏 孟亚云 王宝俊

1.南京航空航天大学机电学院，南京，2111062.中航西安飞机工业集团股份有限公司制造工程部，西安，710089

0 引言

靶标检测是目标跟踪、大视场测量等领域的基础任务，靶标检测的好坏直接影响目标跟踪精度与测量精度。随着我国航空航天行业的飞速发展，人们对大尺度部件的跟踪与测量提出了更高的要求。JIANG等[1]研制了具有编码特征的小型柔性靶标，提出了基于共柱面特征约束的柔性靶标标定方法，并基于大视场视觉测量原理实现了航天器舱段坐标系的构建。温卓漫等[2]针对航天空间站机械臂辅助对接和目标抓捕过程中的位姿识别问题，提出了一种基于合作靶标快速识别的检测算法，能在1.5 m的距离内准确识别靶标并完成位姿的检测。由此可知，靶标的准确识别与定位是目标跟踪与大视场测量等技术中的关键一环。张小迪等[3]从靶标设计的角度出发，提高了靶标的识别率与定位精度。OLSON[4]、GARRIDO等[5]设计了一种方形编码标志，在位姿估计、增强现实等领域中具有较高的应用价值，但是方形标志角点的提取精度会随着测量距离的增大而降低。王颖等[6]设计了圆环形平面标定靶标并基于该靶标对工业管道内表面进行了三维测量，测量精度为0.081 mm。为提高特征点物体的匹配精度，周申江等[7]在近景摄影测量过程中提出了一种环形编码标志自动识别算法，该算法抵抗噪声能力强，圆形标志点圆心求解可达亚像素精度。上述方法均在不同程度上提高了靶标的检测能力，但目前靶标的识别依然面临着多个方面的挑战：当靶标与相机之间的距离逐渐增大时，其定位精度将下降；当靶标与相机之间的夹角过大时，会因靶标图像变形较大而出现识别困难；具有更高分辨率的相机可以带来更高的定位精度，但同时也增加了硬件成本，尤其是多目视觉系统中数据的传输带宽限制了相机可用的最高分辨率。

近年来，基于深度学习的图像超分辨率技术迅猛发展，该技术可以从一幅低分辨率图像中提取出抽象特征，然后通过上采样操作重建出一幅高分辨率图像，主要特点是可以较好地恢复一幅图像的边缘、纹理等高频信息[8]。ZHANG等[9]在检测微小人体图像任务中使用超分辨率技术来提高检测准确性。杨夏宁等[10]在高空航拍图像三维重建任务中采用超分辨率技术解决了地面目标特征粗糙导致重建精度较低的问题。

鉴于环形靶标识别的痛点，结合基于深度学习的图像超分技术，本文提出了一种面向环形靶标识别的图像超分方法，针对靶标特点设计损失函数，训练了一种基于深度学习的图像超分模型，将包含多种噪声的低分辨率的环形靶标图像重建为高分辨率的图像，从提升图像质量的角度解决了极端条件下的靶标识别与定位难题。所提方法即插即用，可以嵌入到传统环形靶标检测算法之中。

1 超分辨率模型原理与构建

1.1 基于超分的环形靶检测方法

在环形靶标检测之前，将原始图像输入到超分模型中，模型对图像进行抽象特征提取，然后对提取到的特征进行上采样操作，最后将上采样结果重建为高分辨图像，高分辨率图像的长、宽分别为原始图像长、宽的2倍。将经过模型处理后的高分辨率图像输入到现有环形靶标检测算法中，最终得到环形靶标的编码信息与位置信息。

研究发现，应用上述超分模型时，无需修改现有环形靶标检测算法便可直接使用。在工程应用中，超分模型被封装为一个独立模块，仅需通过接口便可调用。这使得该超分模型具有即插即用的特点，可便于该技术的传播与应用。

1.2 超分辨率模型原理

图像的超分辨率技术是指通过某种算法实现低分辨率图像到高分辨率图像的转换，传统超分辨率技术的基本思想是基于信号处理方法，从图像的空域或频域等多个角度提取特征[8，11]，计算新位置的像素值，重建更加真实的高分辨率图像。随着深度学习技术的发展，近年来出现了较多的基于深度学习的图像超分方法，并形成了一套较为完整的评价体系。其中增强超分深度网络(enhanced deep networks for super-resolution，EDSR)[12]、高效亚像素卷积神经网络(efficient sub-pixel convolutional neural network，ESPCN)[13]、更快的超分卷积神经网络(faster super-resolution convolutional neural network，FSRCNN)[14]、拉普拉斯超分网络(Laplacian super-resolution network，LapSRN)[15]等模型已集成到图像处理库OpenCV的dnn superres模块中，无需额外安装深度学习框架便可直接嵌入到现有靶标识别程序中，有利于技术的共享与传播。表1比较了上述四种模型的性能，针对靶标定位需求，并达到更高的跟踪精度，本文选取性能较好的EDSR模型作为研究对象，改进其损失函数，使得该模型可以在包含较明显的黑白边界特征的环形靶标图像中具有更好的超分效果。

表1 不同超分模型的性能比较

本文使用的超分模型是一种对单幅图像进行超分操作的模型，超分模型利用保存在模型参数中的先验知识与低分辨图像的信息，重建出一幅对应的高分辨率图像。通常可以将一组对应的低分辨率图像(以下简称“低分图像”)与高分辨率图像(以下简称“高分图像”)之间的关系用下式表述：

Ix=D(Iy；δ)

(1)

其中，D(·)表示一个退化函数，高分图像Iy在退化函数与影响退化函数的参数集合δ的共同作用下形成了低分图像Ix。对图像的超分操作可表述为图像退化过程的逆过程，其表达式为

(2)

其中，F(·)表示超分模型，低分图像Ix经过超分模型与超分模型参数集合θ的作用下形成了高

当使用相机拍摄一张数字图像时，可以认为是一个通过降采样手段获得离散化数据的过程，则退化函数可表示为

D(Iy；δ)=(Iy)↓s{s}⊂δ

(3)

其中，↓s表示比例因子为s时的降采样操作。

为实现超分过程，使用图1所示的网络结构。考虑到网络层数越深则特征提取效果越好，以及残差结构在梯度传播中的优良表现，超分网络主体使用具有残差结构的深度网络，并使用基于残差结构的卷积层组合来提取低分图像的特征。传统卷积操作难以增大特征图的长、宽，如图2所示，将四个通道的特征图重新排列则可实现特征图的上采样操作，通过多次实验确定了当上采样倍率为2时可以兼顾超分效果与耗时等要求。

图1 放大倍率为2的超分模型的网络结构Fig.1 Network structure of super-resolution model with magnification as 2

图2 上采样操作中每4个特征层中的元素按顺序排列到新特征图中Fig.2 Elements in every four feature layers in unsampling operation are reshaped in the new feature graph

1.3 设计损失函数

为了评价预测高分图像的准确性，通常使用绝对像素差值评价预测高分图像与真实高分图像间的差距，这种评价方法又被称为L1损失。该种损失的计算方便，但仅从像素级角度比较了预测值与真实值，没有考虑到环形靶标的特征。本文额外使用感知损失Lp来提高超分模型对靶标轮廓的超分重建能力。损失函数L1、Lp的计算表达式分别如下：

(4)

(5)

分别将预测高分图像与真实高分图像输入预训练的VGG19网络中，并记录每层卷积后的特征图。将特征图之间的差异作为超分模型的损失，以使超分模型所输出的预测高分图像的细节纹理更加接近真实高分图像的细节纹理，由此提高超分模型对特征的提取能力与对图像的重建能力。总损失函数L定义为L1与Lp的加权和，即

L=αL1+βLp

(6)

在实验中保持其他条件不变，令α在范围[0，1]内每隔0.1取值，令β=1-α，然后训练模型并测试，发现当α、β分别为0.8和0.2时靶标识别率最高，当β值超过0.6时，模型的图像超分效果急剧下降。

2 数据处理与模型训练

2.1 获取真实图像

为了得到环形靶标的高分图像，使用500万像素的工业相机在距离靶标1 m、2 m、3 m、4 m等不同距离上分别拍摄，获得靶标图像共计8632张。每次拍摄前移动或旋转靶标，使其在图像中的位置与形态不尽相同，以模拟实际使用时靶标的拍摄状态。为了更好地评判靶标超分后的定位精度，在不同距离拍摄前，需要对相机进行标定。为了扩展靶标的识别范围，在保持相机位姿不变的情况下微小调整镜头光圈与对焦环，使得模型具备对过亮、过暗、虚焦靶标图像的优良重建能力。调整对焦环时，需要先拍摄准确对焦的靶标图像，然后再拍摄虚焦后的图像，对焦环的旋转角度不宜调整过多，避免相机内参发生剧烈变化，从而影响定位精度的评价。

获得靶标高分图像后，需要再获取每张高分图像对应的低分图像，而这在实际过程中较难实现。本文使用一种较为便捷可行的降采样方法，在高分图像中加入较小的高斯噪声并做模糊处理，然后对图像进行双三次插值的降采样处理。上述操作可作如下描述：

D(Iy；δ)=((Iy+nζ)⊗κ)↓s{ζ，κ，s}⊂δ

(7)

其中，nζ表示标准差为ζ的高斯噪声，⊗表示卷积操作，κ表示模糊核。这样的操作可以较好地模拟出分辨率较低的相机所拍摄到的图像，最终得到高分与低分的图像对，部分靶标图像如图3所示。其中图3a为原始图像，图3b为环形靶标局部图像，作为训练集的高分辨率数据集；图3c为将图3b中环形靶标局部图像的长、宽分别缩放0.5倍后得到的图像，作为低分辨率数据集。真实图像数据集中不同距离d下的靶标高分图像与对应的低分图像如图4所示。

(a) 原始图像 (c) 局部低分图像图3 真实图像数据集中高分图像与低分图像对比Fig.3 Comparison of HR and LR circular targets in real image data set

(a) d=1 m (b) d=2 m(c) d=3 m(d) d=4 m图4 真实图像数据集中不同距离下高低分图像对比Fig.4 Comparison of HR and LR circular targets in real image data set under different distances

2.2 合成图像

获取环形靶标所需的真实图像时间较长、人力成本较高，并且图像数据集具有靶标状态不够丰富的缺点，为此使用图形学技术生成靶标图像。在空间原点放置平面对象，然后将随机生成的环形靶标图像贴图在平面对象上，并使靶标圆心位于原点。在一定范围内，随机设置虚拟相机的光心位置与朝向从而确定虚拟相机外参，使平面对象在虚拟相机的拍摄范围内，并设置虚拟相机视角、画面偏移度、分辨率等参数从而确定虚拟相机内参。令虚拟相机生成高分图像与低分图像，然后对低分图像添加较小的高斯噪声或高斯核较小的高斯模糊，由此可得到高分与低分的合成图像对，部分合成图像如图5所示。

图5 环形靶标部分合成图像Fig.5 Partial synthetic images of circular targets

2.3 模型训练

为加快模型训练速度并提高训练效果，在数据预处理阶段进行随机裁剪、翻转、调整亮度对比度等操作。以一定步长将所有原始图像随机裁剪为具有相同长宽的小图像，在加载数据阶段累叠小图像，方便并行训练。增广数据时随机翻转上述小图像并调整亮度和对比度，但不进行随机旋转操作，避免引入重采样过程中的噪声。训练所需的超参数如表2所示。随机初始化模型参数，多次训练，得到10个超分模型。本文研究发现，上述增广操作可将靶标定位精度提高1.3%，使用包含真实图像与合成图像的混合数据集后可使靶标定位精度再提高2.7%，并将靶标识别准确率提高11.9%。

表2 超参数配置

3 识别与定位实验

超分模型的效果通常使用结构相似度(structural similarity，SSIM)和峰值信噪比(peak signal to noise ratio，PSNR)两个指标进行评价[16]，针对环形靶标的特点，本文使用靶标识别率与靶标定位精度作为评价指标。识别率定义为一幅图像中靶标识别到的数量除以该幅图像中的靶标总数，实验中发现已识别到靶标的编号均解码正确，故识别率的定义中不考虑解码错误的情况。考虑到靶标的真实圆心位置难以获得，所以将定位精度定义为靶标圆心间距的测量值除以真值，靶标间距测量值由双目视觉系统得到，真值由圆心间距标定而得。为了获得较为准确的靶标间距真值，在已印刷有环形靶标的白板前0.5 m处架设双目视觉系统，调整靶标与视觉系统间的夹角，并将相机分辨率调整至最高，标定视觉系统后识别靶标编号并重建圆心空间位置，按照编号顺序计算两两靶标圆心间的空间距离，多次重复上述过程，根据3σ原则剔除离群值，并将靶标间距均值作为后续测量靶标间距的真值。上述两个评价指标的表达式分别为

(8)

(9)

式中，fr为识别率；n为已识别到的靶标数量；m为图像中的靶标总数；fl为定位精度；lm为测量值；lt为真值。

在不同距离下使用超分模型对相机拍摄的靶标图像进行超分处理，超分效果如图6所示，可以发现，经过超分处理后靶标边缘更加清晰。图6中，由上到下的4组图分别由环形靶标距离相机1 m、2 m、3 m、4 m时拍摄而得，每组图中从左到右分别为原始图像、环形靶标的局部图像、多种超分图像，其中超分图像是由对应的超分模型对环形靶标局部图像的长、宽分别缩放2倍后得到的图像。图中PSNR与SSIM两个评价指标值由超分后的图像与局部图像计算而得。从图6中可以发现，评价本文超分模型效果的PSNR与SSIM两个评价指标值较高，表明超分图像与原始靶标图像具有较高的相似性。与两种评价指标值最高的ESPCN模型效果相比，本文超分模型的靶标轮廓没有出现锯齿状失真现象。

图6 不同距离下环形靶标图像的多种超分效果对比Fig.6 Comparison of the effects of circular targets by multiple super-resolution operations under different distances

不考虑环形靶标与相机间的倾角，统计各组别的靶标识别率，结果如图7所示。计算各组别的靶标定位精度，结果如图8所示，其中未画出环形靶标与相机间的距离d=4 m时的靶标定位误差，系因d=4 m时原始靶标识别率为零，无法讨论定位精度，同时d=4 m时超分靶标定位误差达到了1.08 mm，对靶标定位已无意义。若所有图像按照距离、靶标倾角等因素进行划分，则识别率的统计结果如表3所示，表中将不同倾角的靶标按每30°划分为三个左闭右开的区间。

图7 不同距离下原始靶标与超分靶标的识别率对比Fig.7 Comparison of the recognition rate between original targets and super-resolution targets in different distances

从实验结果中可以发现，在双目视觉系统与靶标识别算法不变的情况下，仅将原始图像做超分操作，当靶标距离相机1 m、2 m、3 m时靶标定位精度分别提高1.13%、4.56%、8.47%(图8)。尤为显著的是，超分处理后靶标识别率大幅提高，当靶标距离相机2 m、3 m、4 m时靶标识别率分别提高4.76%、40%、30%(图7)。超分操作后的图像可有效改善因倾角较大、距离较远等导致靶标识别困难的不利情况，当靶标距离较远时，超分操作后的靶标识别率显著高于原始靶标识别率。当靶标距离相机较远时，靶标轮廓失真明显，且随倾角的增大锯齿状效应会更加显著，导致轮廓提取、圆度计算、长短轴之比计算等检测环节中可能将正确的靶标轮廓过滤掉了。超分操作可有效提高靶标轮廓提取的准确性，减少噪声、失真等对靶标检测的干扰，从而提高检测效果。

表3 不同靶标倾角下原始靶标与超分靶标的识别率对比

本文所述超分操作在不同尺寸的图像上耗时不同，采用Intel i9-9900X的CPU与RTX 2080 Ti的GPU时，当输入图像尺寸为1024 pixel×1080 pixel时耗时约为500 ms，当输入图像尺寸为120 pixel×120 pixel时耗时约为100 ms。实验所用靶标距离相机1 m时，靶标的感兴趣区域约为120 pixel×120 pixel。

上采样倍率对靶标检测的影响如表4所示，不同上采样倍率与耗时的关系如表5所示。在对检测时间要求不高的场景下(静态测量，如空间定位任务)，当靶标距离相机为1～2 m的较近距离时，上采样倍率为2即可得到较好的检测效果；当靶标距离相机约为4 m的较远距离时，上采样倍率可适当调整为3或4以提高检测效果，但与近距离靶标检测相比，此时定位精度较差。在对检测时间要求较高的场景下(动态测量，如跟踪任务)，选取上采样倍率为2可以保证较好检测效果与较短耗时。

表4 不同距离下上采样倍率对识别率与定位误差的影响对比

表5 不同上采样倍率下超分过程的耗时对比

由上述分析可见，本文提出的面向环形靶标识别的图像超分方法对靶标的识别与定位有较好的提升效果，具有积极意义。

4 结语

应用本文提出的图像超分方法可有效提高环形靶标的识别率与定位精度。实验结果表明：靶标识别率最多可提高40%，靶标定位精度最多可提高8.47%，尤其在靶标距离相机较远、倾角较大等极端条件下，对图像进行超分操作可较好地提高靶标检测效果，但当距离过远时定位精度将下降。所提方法在静态测量中有较好应用前景，但在靶标动态测量中因耗时较长而影响应用。

与现有工作相比，将本文提出的方法应用在图像输入阶段，可以方便地嵌入到已有环形靶标的检测技术之前，为推广与普及该方法创造了良好条件。本文提出的方法目前存在一些局限性，对图像进行超分操作较为耗时，不利于动态跟踪场景下的应用，虽然可以先提取靶标感兴趣区域再超分，以减小计算量、缩减时间，但这样无法对不清晰的靶标做有效检测，所以应当从减小模型规模、缩短计算时间的角度对本文方法做进一步改进。可以再丰富超分模型使用的数据集，在后续工作中采集更多靶标图像，扩展超分模型适用范围，提高鲁棒性。