燕飞

（中国空空导弹研究院 河南 洛阳 471009）

一种仿生复眼系统的图像拼接算法研究

燕飞

（中国空空导弹研究院 河南 洛阳 471009）

在研究昆虫复眼的基础上设计了一种仿生球面复眼系统，基于此系统提出一种图像拼接算法。首先采用SIFT（Scale Invariant Feature Transform）图像匹配算法进行各个子眼图像进行特征点提取；然后利用RANSAC（Random Sample Consensus）算法对提取出的特征点进行精确匹配；最后通过加权平滑算法实现多个子眼图像的无缝拼接，得到整个场景的全景图。仿真结果表明：算法可以有效地实现多通道图像的大视场拼接，增大多个方向的视场。该研究可进一步推进仿生复眼成像系统的应用。

仿生复眼；多通道成像；图像拼接；SIFT；RANSAC

复眼是昆虫重要的光感受器官，由成千上万的小眼构成，具有体积小、质量轻、视场大，对移动物体反应敏感等显著特点[1-2]。而目前的单孔径光学探测系统很难同时具有上述特点，所以仿生复眼理论近年来发展迅速，在全景成像、机器人视觉导航、大视角测量等领域应用广泛。目前，国内外已提出多个基于微透镜阵列的仿生复眼成像系统[3-9]。但这些复眼成像系统大多为平面结构，很大程度上丧失了曲面复眼结构大视场的突出优势[10]。因此在曲面上模拟昆虫复眼立体视觉系统可以有效地避免平面仿生复眼阵列的缺点。

图像拼接[11-12]是计算机视觉领域的一个重要分支，研究的主要内容是将两幅或两幅以上的具有一定重叠区域的图像进行拼接，得到宽视角、大视场的图像。图像拼接技术广泛应用于视频图像处理、遥感影像处理、医学图像分析和虚拟现实技术等领域。

受此启发，文中针对曲面排布的大视场复眼结构，提出了基于曲面的图像拼接处理算法。重点研究了各子眼通道采集的二维图像之间的关系，结合图像拼接技术，实现球面仿生复眼成像系统的全景图拼接。

1 仿生球面复眼系统设计

受昆虫复眼视觉成像机理的启发，提出一种新型的球面复眼结构设计方案，其整体结构模型如图1所示。

其中，9个透镜阵列均匀分布在同一球面上，每个子眼成像通道由镜头和图像传感器组成，各子眼成像通道可对不同方向视场内的物体进行成像，处于其视场内的目标物会被相应的子眼成像通道捕获形成独立的子眼图像。相邻子眼成像通道的视场之间存在重叠区域，以保证相邻子眼成像通道间的无死区覆盖探测。

图1 球面复眼结构示意图

复眼成像探测结构的信号处理主要是信号采集与图像处理，信号采集与常规的单眼成像系统相同，将探测器输出的模拟信号通过A/D转换，送入计算机进行处理。由于复眼系统为多孔径系统，图像处理与常规的单眼系统不同，复眼中的每个单眼形成局部视场图像，通过图像拼接形成一个完整的大视场图像。复眼成像探测结构的信号处理流程框图如下图所示。

图2 信号处理基本框图

这里主要对图像拼接进行研究，假设图像采集及预处理都已完成，本文研究的内容包括图像特征点提取、特征点匹配和图像融合。

2 图像特征点提取

C.Harris等提出的Harris算子[13]可以获得具有旋转、平移不变性的特征点，但不具备尺度不变性。SIFT特征在图像的平移、旋转、缩放和亮度变化方面具有良好的不变性，对于仿射变换和噪声干扰方面也有一定的稳定性，因此这里采用SIFT算法[14-15]对图像特征点进行提取。

SIFT算法的核心理论是尺度空间理论，尺度变换的唯一线性变换核为高斯卷积核。

二维高斯函数定义为：

式中，σ代表高斯正态分布的方差，那么一幅二维图像的尺度空间可定义为：

其中“*”代表卷积运算，I（x，y）代表图像像素点的灰度值，σ代表尺度空间因子，L（x，y，σ）代表尺度空间像素点。

SIFT算法由尺度空间极值点检测、关键点精确定位、关键点方向分配、生成特征点描述子4个主要步骤组成。具体步骤如下：

1）尺度空间极值点检测：为了在尺度空间检出稳定的关键点，SIFT算法使用高斯差分尺度空间（DOG scale-space）算子，由不同尺度的高斯差分核与图像卷积生成：

生成尺度空间后，为了寻找极值点，需要把每一个采样点与其周围的每一个相邻点比较。

2）精确定位关键点：为精确定位关键点，通过三维二次函数进行插值，以精确确定关键点的位置和尺度（亚像素精度），增强后续匹配的稳定性、提高抗噪声性能。

3）关键点方向分配：利用关键点邻域像素的梯度方向分布特性，为每个关键点指定方向参数，这样，关键点就具备了旋转不变性。梯度的幅值m（x，y）和方向θ（x，y）表达式为

式中，L（x，y）代表尺度图像像素点。

4）特征点描述子生成：为确保旋转不变性，首先将坐标轴旋转为关键点的方向，然后利用邻域方向性信息联合的思想来构造特征描述子，得到特征向量。

3 特征点匹配

当SIFT特征向量集生成后，采用欧氏距离对特征点进行匹配，其原理是当待匹配点与其最近邻及次紧邻的关键点的距离之比大于预设的阈值时，可认为是误匹配，将其剔除掉，根据Lowe的实验[15]，比率值取0.8时，可以去除90%的误匹配，但正确匹配也会丢失5%左右，此值增大时，误匹配数量急剧上升；此值取0.7时，可以去除96%的误匹配，而正确匹配则丢失8%左右，此值减少时，误匹配数量降速减缓，正确匹配数量降速增加。因此，粗匹配时，比率值可在0.6-0.8之间选择，以尽可能多地保留正确匹配对。

接下来采用RANSAC数据拟合算法对粗匹配的特征点进行进一步的精确匹配。RANSAC算法步骤如下：

1）n个样本中随机选取p个样本 （p为可计算模型参数最小值）；

2）根据p个样本计算临时模型M0；

3）计算未被选择的n-p个样本与M0的距离，并记录距离小于某设定阈值的个数km。

重复以上3步，直至停止条件成立，选择最大km值对应的模型参数为估算的最优模型参数。

4 图像融合

4.1 图像映射插值

在图像拼接中，图像拼接是根据求解出来的几何变换将输入图像变换到参考图像的坐标系下，将输入图像的像素值赋值给参考图像，这个过程包括图像映射技术和图像插值技术。

目前常用的图像插值方法主要有最邻近插值法、双线性插值法和双三次卷积法。这里采用双线性插值方法，插值函数如下：

4.2 数据融合

在图像拼接的过程中，由于曝光差异在拼接图像的边界处会形成明显的缝隙，因此需要进行融合处理，对拼接缝进行消除。加权平均是图像拼接的常用融合方法，适合实时处理。其原理是：设I1（x，y）和I2（x，y）是待拼接的两幅图像，则重叠区域图像的像素值I（x，y）可表示为：

其中d为一渐变系数，当d由1慢慢变化到0时，图像从I1（x，y）慢慢过渡到了I2（x，y）。

5 实验结果与分析

本实验用Matlab实现，电脑配置为CPU2.5 GHz，内存2 GHz。为尽可能模拟球面复眼结构模型中的各个子眼视场，将相机置于三脚架上，通过旋转普通数码相机得到书柜的9张样本图像，如图3所示。

在仿真过程中，首先利用SIFT算法对每幅待匹配图像进行特征点提取，然后通过欧氏距离法对SIFT算法得到的特征点进行粗匹配，在此基础上采用RANSAC算法对为匹配特征点进行剔除。采用欧氏距离法时，阈值设为0.8。由于拍摄角度不同，在特征点匹配的基础上需要对待匹配图像进行转换，以下仿真图是以中间一列图像为参考图像，以图3中的中图和中右图为例得到的仿真图，包括对应的匹配点以及进行图像转换后的待匹配图像，仿真结果如图4所示。

图3 各个子眼图像

图4 特征提取与图像变换

通过特征点匹配，然后以参考图像为基准，对待匹配图像估计变换模型参数，利用图像映射和插值技术，将输入图像变换到参考图像的坐标系上以实现拼接。

这里采用的拼接方案为：对每一层分别进行拼接，然后将三层图像再次拼接。每层拼接图像如图5所示。

图6为整体拼接结果。

由图6可以看出，系统实现了多通道图像的拼接。造成图中拼接缝隙的因素主要有两个：1）9张图像不是同时拍摄，由于光照的影响，使得在图6的左上角处出现了较为明显的拼接缝隙；2）由于多次利用图像融合算法，对图像重叠区域的估计误差随着拼接次数的加而增大。

图5 书柜单层拼接结果

图6 书柜图像融合效果图

6 结束语

文中设计了一种仿生球面复眼视觉系统，并采用图像拼接算法对子眼图像序列进行拼接得到了全景图，有效地实现复眼系统多通道图像的大视场无死区拼接。此算法具有如下特点：采用SIFT算法获取具有旋转和尺度不变性的特征点；利用RANSAC算法对特征点进行精确匹配；采用加权融合算法消除图像拼接痕迹。该算法可以应用于任意一个曲面列阵化排布的复眼结构，实现其多通道图像的拼接，具有较好的应用价值。

[1]徐琰，颜树华，周春雷，等．昆虫复眼的仿生研究进展[J].光学技术，2006，32（S）：10-12.

[2]冷雪，那杰.昆虫复眼的结构和功能[J].沈阳师范大学学报：自然科学版，2009，27（2）：241-244.

[3]金伟其，林青，裘溯，等.多孔径仿生复眼成像系统技术进展综述 [J].光学与光电技术，2011，6（9）：9-13.

[4]邸思，徐洪奎，杜如虚.人造复眼成像系统研究的新进展[J].光学与光电技术，2008，6（4）：93-96.

[5]Nakamura T，Horisaki R，Tanida J.Computational superposition compound eye imaging for extended depth-of-field and field-of-view [J].Optics Express，2012，20（25）:27482-27495.

[6]Duparre J，Radtke D，Tunnermann A.Spherical artificial compound eye capture real images[J].SPIE，2007：6466.

[7]TUDELA R，BRUCKNER A，DUPARRE J，et al．An image restoration approach for artificial compound eyes[J].SPIE，2008（6812）:681200.

[8]曹兆楼，詹珍贤，王克逸.用于运动目标探测的球面复眼透镜结构设计[J].红外与激光工程，2011，40（1）:70-73.

[9]ANEL G R，FRANCISCO J C．Design of artificial apposition compound eye with cylindrical microdoublets[J].Opt Review，2011，18（1）:184-186．

[10]车静，卢鹏，韩焱，等.仿生复眼视觉系统中全景图拼接算法[J].应用光学，2013，34（5）:815-819.

[11]Gumustelcin S，Hall R W，Image registration and mosaicing using a self calibrating camera[J].Proc.ofIEEE Image Processing， IEEE Computer Society，1998：818-822.

[12]欧阳宁，翟紫伶，首照宇，等．基于图切割的多频带融合图像拼接[J].微电子学与计算机，2013，30（7）：107-110.

[13]Harris C，Stephens M.A combined corner and edge detector [J].Processing of the 4th Alvey Vision Conference，1988:147-151.

[14]Brown M，Lowe D G.Recognising ranoramas[J].IEEE international conference on computer vision 2003:1218-1225.

[15]Lowe D G.Distinctive image features from scaleinvariant keypoints [J].International Journal of Computer Vision，2004，60（2）:91-110.

Image mosaic algorithm on bionic compound eye system

YAN Fei
（China Airborne Missile Academy，Luoyang 471009，China）

Based on the compound eyes of insects，a bionic spherical compound eyes system was designed and an image mosaic algorithm was proposed.First，SIFT（Scale Invariant Feature Transform）was used to extract feature points from the images of sub-eye.Then，feature points were precisely matched by RANSAC（Random Sample Consensus）algorithm.Finally，seamless mosaics of the sub-eye images were completed with weighted smoothing algorithm.The simulation results showed that the algorithm could effectively realize multi-channel images mosaic with large field of view and enlarge the fields of multi-directions.The study could advance the application of the compound eye imaging system.

bionic compound eye；multiple imaging；image mosaic；SIFT；RANSAC

TN215

：A

：1674－6236（2017）05-0175-04

2016-01-21稿件编号：201601199

集团创新基金（2013C01414R）

燕 飞（1984—），女，河南禹州人，硕士，工程师。研究方向：图像处理。