郭姝言,刘　桥,卢　进

(长沙理工大学 电气与信息工程学院,湖南 长沙　410114)

一种改进的医学图像深度信息恢复算法

郭姝言,刘桥,卢进

(长沙理工大学 电气与信息工程学院,湖南 长沙410114)

摘要针对医学图像深度信息恢复的实时性问题,提出了一种Harris角点检测与SIFT特征点检测相结合的算法,提取医学图像的特征点,采用欧式距离作为相似性判定准则将特征点进行匹配,克服了传统SIFT算法提取特征点过多、耗时长的问题。并对获得较致密的视差图,运用三角测量的方法恢复医学图像的深度信息。实验结果表明,文中所提算法在缩短了医学图像深度信息恢复的时间的同时提高了精度,验证了该算法的有效性。

关键词双目立体视觉;Harris;SIFT;图像匹配;深度信息恢复

Medical Image Depth Information Recovery Based on Binocular Stereo Vision

GUO Shuyan,LIU Qiao,LU Jin

(College of Electrical and Information Engineering,Changsha University of

Science and Technology,Changsha 410114,China)

AbstractA Harris-SIFT algorithm is proposed to extract the medical image feature points at first for real-time medical image depth information recovery.The Euclidean distance is used as the similarity criterion for matching the feature points.This matching algorithm reduces the feature points and time consumption of SIFT extraction.The denser disparity maps are processed by the triangulation method to recover the depth information of medical image.The experimental result shows that the proposed algorithm effectively reduces the medical image depth information recovery time and improves the accuracy.

Keywordsbinocular stereo vision;Harris;SIFT;image matching;depth information recovering

视觉是人类观察和感知世界的一种重要手段,双目立体视觉的研究目标就是使机器人具备通过几幅图片来认知周围环境的能力,从二维图像中感知、获得三维世界的信息,目前已被广泛应用于遥感图像分析、道路跟踪、特定目标识别、医学图像处理、多媒体技术等方面。基于双目立体视觉的三维重建技术是近年来视觉技术领域中迅速发展的一个新技术。文献[1]总结了近年来三维重构的研究成果和计算方法,其中有Harris角点检测算法、边缘提取算子、Canny边缘检测算法和图像匹配算法。这些算法在图像处理中各有优劣。文献[2]运用Canny算子检测图像边缘,提取图像的轮廓信息并进行匹配。该算法降低了计算复杂度和成本。文献[3~4]提出了基于双目立体视觉的物体识别与定位,提高了采摘机器人视觉系统的定位精度。文献[5]针对农业害虫,提出了一种新的三维重建算法,该算法降低了平均误差和百分比误差,提高了害虫重建的精度。万智萍[6]等对有一定程度模糊的图片设计开发了双目立体视觉的监控跟踪系统,能够实现对监控区域的物体进行距离测量和识别。张顺岚[7]等提出了一种基于双目视觉的新的三维人脸识别算法,完成了人脸二维图像采集和反向传播神经网络识别工作,提高了识别的正确率,缩短了识别时间。原思聪[8]等在基于SIFT的特征点匹配的基础上加入极线约束的方法,去除了大部分虚假匹配。赵本东[9]等综合了Susan和Harris两种算法的优点,提出了一种改进的角点特征提取算法,该算法具有较好的角点检测性能。张栋栋[10]等基于区域匹配的方法对图像进行特征点匹配,完成电池的三维重建。

本文重点研究了双目立体视觉下的医学图像匹配与深度信息恢复,为了克服SIFT提取的特征不是人们视觉中的角点,且计算量较大,实时性差的问题,提出了一种将Harris算子和SIFT算子相结合的算法,以便于较准确、快速地提取特征点,对医学图像进行匹配,得出视差图,最后通过三角测量的方法恢复医学图像的深度信息。

1双目立体视觉系统模型

双目立体视觉的基本原理是从两个视点观察同一景物,以获取在不同视角下的感知图像,然后通过三角测量原理计算图像像素间的位置偏差来获取景物的三维信息。本文重点研究的是两台摄像机平行放置的双目视觉系统。图1给出了双目成像系统的平面示意图,图中的L和R分别代表左右两个摄像机,f表示焦距,这样就构成了一个主光轴平行的双目视觉模型。

图1　双目视觉成像系统

三角测量法恢复深度信息的原理图,如图2所示,CL、CR分别表示左右摄像机的光心的位置;f表示摄像机的焦距;b表示CL与CR之间的距离。目标上的点P过CL和CR分别向图像面做垂线,过P向图像面做垂线,AL、AR、B表示垂足。

图2　三角测量恢复深度信息原理图

(1)

(2)

由式(1)和式(2)化简可得

(3)

将式(3)式带入式(1)中,可得

(4)

式中,la-lb称为P在左右两个图像面上形成的视差;表示P在左右两幅图像中的成像点的位置差异。因此,要恢复出图像的深度信息,最关键的是要求得视差。

2图像匹配算法

2.1　SIFT算法原理

SIFT算子特征是图像的局部特征,其在平移、尺度缩放、旋转、对亮度影响及抗噪性能等方面具有一定的优势,SIFT特征匹配算法主要经过两个阶段:(1)SIFT特征的生成;(2)SIFT特征向量的匹配[11]。

任何一幅二维图像,将其与Gaussian核卷积可以得到不同尺度下的尺度空间

L(x,y,σ)=G(x,y,σ)×I(x,y)

(5)

SIFT匹配算法包括4个过程:(1)对空间尺度的极值点进行检测。首先对所有的图像与尺度的位置进行搜索,再通过Gaussian差分公式来检验具有尺度缩放和旋转不变性的特征点;(2)定位极值点。精确对各个候选点进行尺度与位置的确定,以增强图像匹配的正确性;(3)关键点方向的确定。对每个关键点进行一个方向的分配,保证尺度的旋转不变性;(4)特征点描述子的生成。利用梯度统计的方法对关键点当前所在的尺度空间的区域进行统计,进而生成特征点描述子。

2.2　SIFT与Harris结合提取特征点

由于医学图像处理对实时性要求较高,且SIFT算法提取特征点的数量较多、耗时较长,SIFT算法提取的特征点不能准确定位角点,故将Harris算法与SIFT算法结合,采用Harris提取特征点取代SIFT算法极值点。Harris是较为稳定有效的一种特征点提取算法,有如下角点响应函数

R(Aρ)=det(Aρ)-k·tr2(Aρ)

(6)

2.3　图像特征点匹配步骤

图3给出了图像特征点匹配的步骤,当两幅医学图像的特征向量生成后,采用欧氏距离作为两幅医学图像特征点的相似性判定准则[12]。首先取出左图像的特征点,找出与右图像中欧氏距离最近的前两个特征点,若离这两个特征点的最近距离和次近距离的比值小于某个比例阈值,则接受这一匹配点。

图3　图像特征点匹配步骤

3实验结果与分析

在PC机上用Matlab 2012b实现本文提出的算法,对获取的两幅医学图像进行特征点提取,并将Harris与SIFT相结合的算法与SIFT算法的匹配结果进行对比和分析,最后运用三角测量原理恢复医学图像的深度信息。本文的医学图像取自二尖瓣索修复手术视频,如图4和图5所示,实验中,摄像机光心距离取0.5 m,匹配阈值取0.49。匹配结果如图6和图7所示。

图4　左图像

图5　右图像

表1为图6和图7的匹配结果统计,可以看出,本文提出的将Harris与SIFT相结合对医学图像进行特征点匹配生成的特征点数量要比SIFT算法少,从而在一定程度上减小了数据库容量和有待匹配的特征点数量,缩短了匹配时间。并在生成SIFT描述子之前,本文提出的算法采用Harris算子检测特征点,计算量较小,与SIFT算法特征点匹配相比,去除了部分不显著的特征点,减小了特征描述生成阶段的计算量和生成的次数,提高了匹配精度,可满足医学图像处理实时性要求。

图6　SIFT特征点匹配结果

图7　Harris与SIFT相结合特征点匹配结果

算法SIFTHarris_SIFT匹配点数7631误匹配点数31匹配率/%96.0596.77匹配时间/s5.82.4

图8给出了将Harris与SIFT算法结合提取特征点后,并进行匹配后得到的较密集视差图。由实验结果可知,得到的视差图能够较好地体现出医学图像的特征,从中可较为清晰地看出手术夹子以及人体的轮廓信息,且图像含有的噪声较少。图9是根据三角测量法对医学图像进行深度信息恢复的结果,图像能较好地反映原有医学图像的信息,表明本文采用的匹配算法有较好的效果。

图8　视差图

图9　医学图像深度信息恢复结果

4结束语

SIFT算法在平移、尺度缩放、旋转、对亮度影响及抗噪性能等方面均具有一定的优势,但在处理实时性要求较高的医学图像时,提取的特征点过多且可能不是角点,计算量较大。由实验结果可看出,本文提出的将Harris与SIFT算法相结合,在一定程度上弥补了这一缺点,降低了特征点提取和图像匹配的复杂度,同时缩短了匹配时间,保证了正确匹配率,满足了医学图像

处理实时性的要求。同时,可增强算法的抗噪声能力和对图像进行变化的鲁棒性,医学图像深度信息恢复结果进一步验证了该算法的有效性。对医学图像进行三维重建,实现从二维图像到三维空间的重构,使结果更接近人眼所能反映出的图像,将是下一步研究工作的目标。

参考文献

[1]沈洪宇,柴毅.计算机视觉中双目视觉综述[J].科技资讯,2007(34):150-151.

[2]ZhangHui.Afastbinocularvisionstereomatchingalgorithm[C].Wuhan,China:Proceedingof2012InternationalConferenceonModelling,IdentificationandControl,2012.

[3]项荣.基于双目立体视觉的番茄定位[J].农业工程学报,2012,28(5):161-167.

[4]LiJian.Researchonlocalizationofapplesbasedonbinocularstereovisionmarkedbycancroidsmatching[C].Beijing,China:ThirdInternationalConferenceonDigitalManufacturingandAutomation,2012.

[5]RenJianqiang.Algorithmfor3Dreconstructionofagriculturefieldpestsbasedonbinocularstereovision[C].Shijiazhuang,China:WorldAutomationCongress(WAC),2010.

[6]万智萍,叶仕通.基于OpenCV的双目立体视觉监控跟踪系统[J].科学技术与工程,2013,13(5):1671-1815.

[7]张顺岚,莫建文.基于双目立体视觉的三维人脸识别算法[J].电视技术,2014,38(9):214-217.

[8]原思聪.双目立体视觉中的图片匹配方法研究[J].计算机工程与应用,2008,44(8):75-77.

[9]赵本东,陶华敏.双目立体视觉中特征提取算法研究[J].电子技术与软件工程,2014(6):122-123.

[10]张栋栋,李汉舟.双目视觉及其在全自动换电机器人中的应用[J].电子科技,2014,27(7):168-176.

[11]肖健.SIFT特征匹配算法研究与改进[D].重庆:重庆大学,2012.

[12]邵暖,刘乐.基于特征匹配算法的双目视觉测距[J].燕山大学学报,2012(1):57-61.

作者简介:郭姝言(1991—),女,硕士研究生。研究方向:图像处理与成像技术等。刘桥(1970—),男,副教授,硕士生导师。研究方向:图像处理等。

收稿日期:2015- 05- 21

中图分类号TP391.41

文献标识码A

文章编号1007-7820(2016)01-048-04

doi:10.16180/j.cnki.issn1007-7820.2016.01.013