何智翔 丁晓青

（智能技术与系统国家重点实验室，清华信息科学与技术国家实验室，清华大学 电子工程系，北京100084）

在医学和高空目标观测等领域，存在大量的不同光质多模图像之间的目标检测问题。因为在这些领域中，存在大量不同感光成像设备生成的图像，我们称这些图像为异质多模（multimodal或者 multisensor）图像［1，2］。

在有关异质多模图像的研究中，Ma Jun和Zeng等［3，4］利用 sobel算子生成原图像的边缘图，然后利用边缘图的互相关进行匹配。参考图像和观测图像虽然光质不同，但是处于同一视角并且是同一场景，背景比较简单。类似的方法也出现在了文献［5，6］中，也是边缘图被用来进行配准；不同的是，参考图像和观测图像不是同一视角；但是因为规定图像间只有有限的平移、旋转、尺度变换，所以通过简单的仿射变换就可以消除。Cheng和Zheng等［7］则不使用边缘图，而是利用SVM从提取到的边缘中抽取物体的轮廓，然后使用hausdorff距离进行轮廓匹配。Manjunath和Huang［7，8］也使用轮廓，但他们使用其他方法来提取轮廓并匹配它们。此外，在文献［7－9］的研究中，它们的参考图像和观测图像虽然是同一场景，但背景并不严格一致，视角也不完全相同，但是相差不多。此外，在最近的研究中，如 Michael和Krotosky等［2，10］，尝试利用三维场景数据对异质多模图像进行配准，不是简单的图匹配。这些研究，大多都是针对异质多模图像的配准，通过配准来检测目标。

本文研究的主要对象是不同视角的异质多模图像，参考图像和观测图像之间除了光质不同外，还具有以下2个主要的困难：首先就是参考图像和观测图像的视角不同，仿射变换无法完全消除其影响；……