伊 浩，刘太辉，宋绍成

(北华大学计算机科学技术学院，吉林 吉林 132013)

为减少海啸对生命财产的危害，实时监测远距离海面变化是非常必要的.目前，已有很多方法可以监测海平面变化情况，有的只能测量岸边海面，有的则可以测量远海海面.测量岸边的仪器有潮位仪、压力表、激光仪等，其中，潮位仪[1]通过井口连通海水，井中的水平面会随着海平面的升降同步变化，从而测量岸边的潮水变化情况，但这种装置不能监测海啸，当海啸到来时还可能损坏仪器.测量远海的仪器有GPS浮标、雷达、海底监测网等.GPS浮标[2]是安装在远海的仪器，通过浮动在海面上的GPS波浪计测量海平面高度，并通过GPS将位置信息传送到岸边的服务器上，实时监测海平面高度变化，但它只能测量仪器周围的海面，不能测量大范围海面，并且在远海安装也非常困难，维修费用很高；海底监测网[3]使用的光纤网络铺设在海底，通过压力传感器监测海水深度变化，进而计算海平面变化，同样，也只能监测装置附近区域，由于是在远海铺设，安装也很困难，造价也很高.

基于双目立体视觉技术的3D图像测量系统结构简单，不需要额外能源就可以监测大范围、远距离海面.但这个方法有很多困难需要克服，比如长距离摄像机参数校对、两幅图像中海浪的提取和对应匹配问题等.SALIN B M等[4]通过拍摄海面视频测量海浪，提出海面光学图像和波浪剖面空间结构的函数关系，但这个方法只能测量装置附近的海域.本文针对以上问题，提出一系列解决方法：利用云台控制摄像机旋转来增加监测范围，保持摄像机水平位置；自制一组标定杆精确标定远距离摄像机内、外参数；提出动态块阈值方法，提高海浪提取的精度和速度；在极线约束下[5]，结合特征矩阵获得海浪的视差图像；利用RANSAC方法计算海平面高度[6]，构建海平面三维信息.通过与公开数据进行对比分析，验证本文方法的可行性.

1 测量系统

测量系统包括两部分：硬件系统用云平台控制两个摄像机同时拍摄海面并获取图像数据；软件系统用于图像处理和计算海平面高度.

1.1 硬件系统

硬件系统结构见图1.硬件系统包括数据服务器、个人计算机、云平台、长焦摄像机、角度传感器、远程控制系统、支架.云平台控制两个摄像机尽可能地拍摄同一片海域；角度传感器安装在云平台上面，用于测量两个摄像机旋转的角度变化，通过标定前的摄像机外参数就可以实时获得两个摄像机间的相对角度，旋转系统见图2；个人计算机、远程控制器、摄像机是相互连接的，既可以在远程控制器上直接调整摄像机参数，也可以通过个人计算机上的软件操作远程控制器去调节摄像机参数，获得海浪图像.在对海平面进行拍照的同时，图像数据会自动传输到数据服务器中.

图1硬件测量系统Fig.1Measurement system of hardware图2旋转系统Fig.2Rotating camera hardware

图3 软件系统流程Fig.3Processing of software system

1.2 软件系统

软件系统流程见图3.软件系统处理流程包括5个步骤：第1步，用两个摄像机对准同一片海域拍照，将图像数据传输到数据服务器，并对海浪图像进行预处理(包括除去图像中的噪点、增加图像对比度、利用He提出的基于暗通道优化算法去除图片中的薄雾等)，获得高清晰度的海浪图像；第2步，改进Otsu算法，基于动态块阈值算法提取图片中的海浪；第3步，利用特征矩阵的相似性进行海浪特征的立体匹配；第4步，提取标定图像中的交点位置，计算摄像机内、外参数；第5步，利用RANSAC方法计算海平面高度.

2 摄像机标定

尽管张正友的标定方法已经很完善[7-8]，但标定棋盘只适用于近距离标定摄像机参数.本研究的测量目标距离大约在5～20 km，在这种远距离下，获得棋盘格子的角点是很困难的.为了解决这个问题，提出利用多个标定杆子的方法进行远距离标定，每个标准杆子上已经做好标记.标定杆见图4.

标定模型见图5.其中：b为两个摄像机之间的距离；O1和O2分别是摄像机的两个光心位置；α1和α2分别为两个摄像机在y轴方向的旋转角；f1和f2分别为两个摄像机的焦距，两个摄像机规格相同，f1和f2相等.云台水平仪保证摄像机水平放置，所以只有f1、y轴方向的角度和基线长度需要标定.针孔模型[9]：

式中：Zc为测量点到基线的垂直距离；[Tx，Ty，Tz]T是平移矩阵，Tx等于b的长度，Ty和TZ大小都为0；fx和fy分别为x轴、y轴的焦距.为了简化方程，设fx=fy=f；(u，v，1)T是相平面坐标系下的齐次坐标；(Xw，Yw，Zw，1)T是世界坐标系下的齐次坐标.得到：

两点间距离为

其中：(Xw1，Yw1，Zw1)和(Xw2，Yw2，Zw2)为世界坐标系下两个不同坐标点.计算测量值与真实值的误差：

(1)

式中：Di为每次测量的距离.应用Levenberg-Marquardt方法对式(1)进行最优化处理得到摄像机的参数b、α1、α2、f.

图4标定杆Fig.4Calibration pole图5标定模型Fig.5Calibration model

3 海浪图像处理

3.1 海浪提取

由于海浪图像的亮度不均衡，所以不能使用一个阈值直接将前、后背景分开.通过改进Otsu，提出利用动态块阈值处理算法提取海浪.本算法分为2个步骤：第1步，使用Otsu算法求出每个小块的阈值；第2步，通过节点和四周块中心点距离比例计算每个像素的阈值.

首先，把海浪照片分成32×18的小块，见图6.得到每个小块的阈值，用T(m，n)表示第(m，n)块的阈值.由于对每个块用阈值直接提取海浪后的图像会在块与块之间产生很多锯齿，导致不能将海浪有效提取出来，所以需要进一步改进.改进的办法是使每个点的阈值不是由本块的阈值直接决定，而是采用线性插值的办法，由周围4个块的阈值来决定，乘积系数是当前点到周围4个块中心点的距离比例.计算公式：

t(i， j)=q×((1-p)×Tm，n+p×Tm+1，n)+(1-q)((1-p)×Tm，n+1+p×Tm+1，n+1)，

(2)

式中：t(i， j)为当前点(i，j)的阈值；p为当前点和左侧块中心点的距离；q为当前点和下块中心点的距离.

原始图像通过式(2)能把所有点的阈值都计算出来.原始图像灰度值的范围是[Imin，Imax]，Imin代表的是图像的最小灰度值.通过下式得到海浪图像的二值图像：

式中：Imax为图像的最大灰度值；f(i，j)为原始图像的灰度值；O(i，j)为最后得到的二值图像的像素灰度值.利用这个方法提取的海浪图像见图7.

图6动态块阈值方法Fig.6Threshold method of dynamic block图7提取结果对比Fig.7Comparison of extract results

图8 海浪特征Fig.8Feature of sea wave

3.2 特征矩阵匹配

海浪提取完成后，进行左、右两幅图像中海浪的立体匹配.主要分为两个过程：1)求出海浪的重心位置，将重心作为海浪的中心点.根据标定的参数和极线约束，将左图中提取的海浪中心位置在右图像中找到对应的极线位置，这样可以大大提高立体匹配精度.2)进行精确的特征矩阵立体匹配.每个海浪提取的特征矩阵见图8.

特征矩阵的向量包含海浪的周长、面积、曲率、中心坐标、L1、L2、L3、L4，得到：

V={A，P，C，y0，L1，L2，L3，L4}.

从而得到每个图像的海浪矩阵为

VL=[V1，V2，…，Vi，…，VN]，

VR=[V1，V2，…，Vi，…，VM].

最后通过矩阵的相似性得到

式中：Distij为矩阵的相似性.

4 试验结果

本次试验选取的数据在某海域，时间为上午6点到下午6点.拍摄距离大约为5～10 km.数据每5 min采样1次，每次采样5 s，每秒30张图像，每次采样获得150张图片，连续采样12 h.

对数据进行海浪提取、特征矩阵立体匹配，见图9.其中，图9 a、b为原始的左、右摄像机图像，图9 c、d为从图9 a、b图中用动态块阈值法提取的海浪点.图9 c中标识的红点为海浪的重心点位置，用数字标识的海浪为与右图像中匹配的海浪.在左图中提取38个海浪，在右图中提取40个海浪，其中，匹配的数量为9个.左图匹配率为23.6%，右图匹配率为22.5%.将150对图像的匹配点全部找出，利用RANSAC方法计算海浪高度，结果见图10.

将试验数据与公开数据进行对比，均方误差为6.67%，见图11.结果显示：试验计算得到的海平面变化曲线与公开数据是一致的，说明本方法能够有效描述海平面的变化，可为居民提供重要的参考依据.

图10计算的海浪高度Fig.10Calculation of sea wave height 图11结果比较Fig.11Compare results

5 小结与讨论

本文提出了基于双目视觉测量技术监测远距离海平面的完整系统，克服了海浪提取、匹配和远距离摄像机标定3个核心问题.为了解决提取海浪时出现的锯齿现象，改进了Otsu算法，利用动态块阈值的方法进行提取；通过一组标定杆进行远距离标定，制作了一套完整的标定系统，提出了远距离标定算法公式；通过特征矩阵和极线约束相结合，精确匹配了左、右摄像机中的海浪.结合试验测试结果分析可知，利用双目视觉进行远距离监测海面是可行的.但双目视觉也存在着很多不足，比如大雾、大雨、晚上都很难清楚地拍摄到海面，也就没有办法进行有效监测，这也是当前很多相关科研人员正在攻关的问题.