胡坤福++高虹++范晓娟++段海艳++罗文广

摘 要：为了实现基于DM6437的鸟瞰变换，文中提出了一种通过逆投影变换结合映射查表的方法来完成从透视图像到俯视图像的实时变换方法。首先，针对广角摄像头采集到的图像进行畸变校正；然后建立图像坐标系到世界坐标系下坐标点的映射关系，并进行逆投影变换；最后，利用上述映射关系获取整幅图像的映射表格，进而采用映射查表的方法得到实时的俯视图像。通过实验结果表明，该方法实时获取的俯视效果图像可基本满足实际应用需求。

关键词：DM6437；逆投影变换；图像畸变校正；查表法

中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2017）07-00-03

0 引 言

随着我国经济的快速发展，人民生活水平稳步上升，汽车逐渐成为了人们日常出行的重要交通工具。然而，据国家统计局的不完全统计，我国每年约有几万人死于交通事故，其中，部分事故的发生是由于驾驶人员的不恰当泊车导致的。因此，如何安全泊车成为了一个热点问题。

近年来，全景环视系统为该问题的解决提供了一个很好的方案。基于嵌入式平台，对关键技术的研究如图像畸变校正、逆投影变换等，是实现全景环视系统的关键步骤。LinBo Luo等人提出了一种基于软硬件相互协作的方式来实时获取全景鸟瞰图的方法[1]，该方法能够快速估算出单应性矩阵H并完成视图转换[2]；SungRyull Sohn等人考虑到驾驶人员的主要视线聚焦在前方[3]，容易忽略后方及左右方向，因此提出在车身左右、后方安装3个摄像头，完成从透视图到无盲点的鸟瞰图的转换，并利用矩阵映射[4]表来达到满足视频实时性的效果；Daiming Zhang等人提到了一种基于消失点的自动逆投影变换算法[5]，适用于上坡、下坡等路况。针对大客车体积大、盲区多等特点，迟瑞娟等人提出了一种在折反射鱼眼相机模型基础上[6]，加上标定棋盘平面与地面映射，采用抬高的棋盘进行计算标定的方法；吴永祺等人采用基于空間坐标系的转换方法完成投影变换[7]，该方法简单，易于实现；吴贯亮等人通过建立球面坐标系与空间坐标系的关系来实现超广角镜头的畸变校正[8]；利用球面模型的经纬映射法也可实现超广角或鱼眼摄像头的畸变校正[9，10]。

综上所述，本文将由以下4个部分组成：

（1）基于DM6437硬件平台，实现基本图像输入输出功能；

（2）针对由广角摄像头采集到的图像进行畸变校正；

（3）利用已获得畸变校正图像进行逆投影变换，并采用线性插值的方法获取完整的俯视图像；

（4）基于DM6437，利用映射查表的方法，实现从透视图像到俯视图像的实时变换。

1 图像采集

视频图像是由CCD摄像机采集[11]，通过视频解码芯片TVP5158将采集到的模拟信号转换为YUV格式的数字信号，进而送入DM6437视频处理子系统VPSS进行处理，然后以模拟视频信号输出，并由LED显示屏显示。

2 图像畸变校正

镜头畸变主要分为径向畸变与切向畸变，通常径向畸变比切向畸变更明显。因此在实际工作中主要考虑径向畸变。研究发现，采用多项式变形技术以及线性插值方法可有效实现图像的畸变校正。

在实际图像畸变校正过程中，通常选用一幅无畸变的图像作为基准，设像素坐标系下[12]基准图像坐标为（u，v），畸变图像坐标为（u0，v0），利用重采样成图法建立二维多项式模型[13]：

（1）

式中，n为多项式系数，一般取n=2可达到较好的效果；aij及bij为各项系数；令基准图像I（u，v）和畸变图像为I0（u0， v0），然而，对应图像中同一个点，应满足其灰度值不变特性：

I（u，v）=I0（u0， v0） （2）

式（2）是实现图像畸变校正的基本公式。

3 逆投影变换

完成世界坐标系XO1Y到图像坐标系XO'Y的转换是实现逆投影变换的关键。本文将针对图像畸变校正得到的图像进行逆投影变换，其具体方法如下：

（1）首先建立图像坐标系到世界坐标的映射关系。图1（a）所示为路面坐标系下由A-B-C-D所围成的图像，透过摄像机光心O，成像于图1（b）所示的图像坐标系下围成的图像A'-B'-C'-D'，同理，点J-K-E-F对应于点J'-K'-E'-F'。利用小孔成像的空间几何模型[7]来建立图像坐标系到世界坐标系的数学关系[14]：

（3）

式中，（Px，Py）为世界坐标系下的一点，（Px'，Py'）为对应的图像坐标系下的点，h为摄像头安装高度；H为图像纵向像素大小；W为图像横向像素大小；2α为摄像机垂直方向视角；2β为摄像机水平方向视角；γ为摄像视图最近点与竖直方向的夹角。

（2）建立原始图像I到俯视图像If的映射关系。如图1所示，设摄像头获取路面图像区域A-B-C-D，通过坐标系XO1Y的原点O1的线段|JK|=S，|EF|=T（m）对应于图像坐标系XO'Y下的线段|J'K'|=s，|E'F'|=t （像素）；可计算出俯视图像区域A'-B'-C0-D0中每一个像素点与其代表实际距离的比例：横向比例为S/s，纵向比例为T/t；可通过上述关系求解出路面坐标系下的点（Px，Py）与俯视图像上的点（uf， vf）的对应关系：

（4）

由于像素坐标系uOuvv的坐标原点Ouv在图像的左上角，而图像坐标系XO'Y的原点在图像中心，如图1（b）所示，因此需建立上述两坐标系之间的关系：

（5）

综合（3）～（5）式可建立图像I（u， v）到俯视图像坐标If（uf， vf）的映射关系：

（6）

式中，R为If→I的非线性映射关系。

（3）利用（6）式求得待插值点（uf， vf）在图像I中所对应的坐标为（u'， v'），由于（u'， v'）不一定为整数，本文将选用双线性插值法进行插值计算[15]。其中，坐标点（u'， v'）应落在点（u， v）、（u+1， v）、（u， v+1）及（u+1， v+1）所包围的区域内。因此，具体插值方法如下：

（7）

式中，a=u'-u0，b=v'-v0。

（a）路面坐标系下由A-B-C-D围成的图像

（b）成像图

图1 世界坐标系与图像坐标

4 基于DM6437的逆投影变换实时性处理

实现从透视图像到俯视图像的实时变换是完成逆投影变换的核心问题，因此本文将通过映射查表的方法来实现。首先，确定DM6437视频处理前端所接收的视频图像序列类型及存储格式；然后从该图像序列中找出亮度信号Y，并确定其在一帧图像数据中的位置，进而建立Y的位置信息与图像坐标（u， v）的关系；最后根据式（3）～（6）确定Y的位置信息与图像坐标（uf， vf）的关系，从而建立相应的映射表格，并进行实时的鸟瞰变换。

4.1 视频图像序列

本视频图像序列采用YCbCr4∶2∶2的视频流格式。YCbCr是在世界数字组织视频标准研制过程中作为ITU-R BT1601建议的一部分，是YUV经过缩放和偏移的结果，其中Cb为蓝色色差，Cr为红色色差。YCbCr4∶2∶2每个色差信道的抽样率是亮度信道的一半，所以水平方向的色度抽样率为4∶4∶4的一半。在DM6437中，Y和CbCr平均各占用一个字节，那么YCbCr平均共占用两个字节。由于像素字节存储方式采用小端模式，即先进入处理的字节为亮度信号Y，然后是色度信号CbCr，像素字节的存储方式见表1所列。

在实际应用中，有效提取并转换Y信号是实现逆投影变换的关键。

4.2 Y信号提取

由于视频帧是一个一维序列，且输入的奇数位数据是Y信号。因此，为实现对亮度信号Y的逆投影转换，则需进行Y信号提取，并将亮度信号Y的位置信息l转换为图像坐标（u， v）。

根据表2，通过数学归纳法可建立关系：

src（u， v）=src（（W-1）·2v+2（u+v）+1） （8）

式中，src是存储视频帧图像数据的数组，（8）式可提取亮度信号Y的位置信息，并以图像坐标（u， v）的形式表达。

同理，可根据表1确定色度信号CbCr与图像坐标（u， v）的关系：

src（u， v）=src（（W-1）·2u+2（u+v）） （9）

4.3 建立映射表

从公式（3）～（5）可发现，逆投影变换中含有大量三角函数、乘除、开方以及循环迭代计算，在实际应用中，利用公式计算显然无法满足视频实时性的要求，因此需建立从俯视图像坐标（uf， vf）到原始图像坐标（u，v）的映射表格，通过查表法可实现实时的逆投影变换。

通过式（3）～（9），利用Matlab完成从俯视图像到原始图像的映射表格，部分映射表见表3所列。

如表3所示，将原始坐标点（49，256）的像素灰度值赋给俯视坐标点（68，272）所在的内存空间，通过不断的循环赋值，可完成整幅鸟瞰图的实时变换。

5 实验结果与分析

本实验所采用的硬件平台为DM6437一套，广角摄像头一套，液晶显示器一台。硬件平台及算法框图如图2所示。

同时，本实验摄像机标定及实验参数见表4所列[16]。

利用图2所示的硬件平台及表4所列的实验参数可进行相关实验测试。图3（a）是通过广角摄像头采集到的原始畸变图像，图3（b）是通过畸变校正得到的图像，图3（c）是经过图像畸变校正后，利用逆投影变换生成的俯视图。从图3可以看出，本实验可较好地实现从透视图像到俯视图像的变换。

同时，为表明映射查表法的有效性，利用原始公式计算已无法满足实时鸟瞰变换的要求，但通过映射查表的方法可实现从透视图像到俯视图像的实时变换。实时性对此见表5所列。

（a）通过广角摄像头采集的原始畸变图像

（b）通过畸变校正得到的图像

（c）经过图像畸变校正后，利用逆投影变换生成的俯视图

图3 实验结果图

表5 实时性对比

方法 原始公式法 映射查表法

帧率（fps） 0.05 20

6 结 语

本文建立了基于DM6437逆投影变换技术的硬件平台，实现了图像采集、图像畸变校正，逆投影变换以及完成逆投影变换的实时性处理方法，并通过实验结果表明了其算法的可行性及有效性。

本文的不足之处及下阶段研究工作仍需改进的地方：

（1） 由于本文使用经典摄像机标定方法，在面对具有一定坡度的路况时，其逆投影变换的效果并不理想，因此，后期仍需针对摄像机标定方法做更深入的研究；

（2）下阶段将继续完成基于DM6437的四路图像融合算法研究。

参考文献

[1] Luo L， Koh I， Park S Y， et al. A software-hardware cooperative implementation of bird's-eye view system for camera-on-vehicle[C].Network Infrastructure and Digital Content， 2009. IC-NIDC 2009. IEEE International Conference on. IEEE， 2009

[2] 丁鑫.全景視觉泊车辅助系统研究[D].杭州：浙江大学， 2010.

[3] Li W， Qu F， Wang Y， et al. A fast vehicle top-view system[C].International Conference on Systems and Informatics. IEEE， 2014.

[4] Sohn S R， Lee H， Jung H， et al. High-definition video-based multi-channel top-view vehicle surrounding monitoring system for mobile navigation devices[C].IEEE International Conference on Consumer Electronics. IEEE， 2013.

[5] Zhang D， Fang B， Yang W， et al. Robust inverse perspective mapping based on vanishing point[C]. International Conference on Security， Pattern Analysis， and Cybernetics. IEEE， 2014.

[6] 遲瑞娟，赵木祯，王建强，等.一种基于折反射像机的客车全景环视系统[J].哈尔滨工程大学学报，2013，34（2）：190-196.

[7] 吴永祺.基于全景视觉的汽车安全驾驶辅助系统的设计研究[D].广州：华南理工大学，2014.

[8] 吴贯亮.基于多路摄像头的二维环视图生成方法研究与实现[D].长春：吉林大学，2014.

[9] 汤旭涛.广角摄像头视频图像实时校正系统设计[D].上海：华东师范大学，2010.

[10]王俊杰，徐小刚，胡运发，等.鱼眼投影在虚拟实景中的应用研究[J].小型微型计算机系统，2004，25（2）：287-290.

[11]黄训良.基于DSP/BIOS的多路视频采集系统的设计[D].广州：华南理工大学， 2013.

[12]贺忠海，王宝光，廖怡白.理想边缘产生方法的研究[J].光学精密工程， 2002， 10（1）：89-93.

[13]吴开兴，段马丽，张惠民，等.广角图像畸变校正算法的研究与实现[J]. 计算机应用与软件， 2014（11）：237-240.

[14]徐友春.基于机器视觉的汽车主动安全技术的研究[D].北京：清华大学， 2003.

[15]王平，全吉成，赵柏宇.基于双线性插值的图像缩放在GPU上的实现[J].微电子学与计算机，2016， 33（11）：129-132.

[16]张梦洋，秦瑞康，李福东，等.基于改进遗传算法的单目相机标定[J].人工智能与机器人研究， 2016，5（3）：53-62.