有约束条件的监控影像解析方法

2020-03-10杨承昆姚吉利赵雪莹张大富

山东理工大学学报（自然科学版） 2020年1期

杨承昆，姚吉利，王建，赵猛，赵雪莹，张大富

(山东理工大学建筑工程学院，山东淄博 255049)

近年来，道路交通发展迅速，公路通车里程和机动车辆保有量迅速增长，交管部门在预防和处理交通事故时面临着严峻的挑战。客观、公正、高效地对事故现场进行测量采样与分析处理非常重要[1-3]。随着科技的发展，除了传统的人工现场测量方法，越来越多更精确、快速的测量方法被运用到交通事故现场证据采集工作中来[4-5]。其中摄影测量技术因其快速、灵活、非接触式的特点，常用于交通事故处理中的事故现场重建与事故再现工作，是交通事故勘查、处理的重要辅助依据[6-7]。

使用摄影测量方法进行交通事故现场勘查工作，需要相机的内、外方位元素、比例尺不一致系数和x、y轴不正交系数。而一般使用的相机为非量测相机，需要人为地去求解这些参数后才能用作量测工具，该求解过程在计算机视觉领域称为相机标定，在摄影测量领域称为相机检校[8-9]。相机检校需要测量物方空间和像方平面的同名点坐标，大部分学者在运用摄影测量方法进行交通事故现场勘查工作时，都选择占用事故现场进行同名点物方坐标的量测工作：如Lu等[10-12]通过人工测量事故现场的特征线和特征矩形，进行相机检校；苗新强等[13-14]在现场布设相机检校场，对单目相机进行现场检校。这些方法都需要较长时间占用交通事故现场来进行现场采样勘查。还有很多学者使用已检校相机进行事故现场重现，如Du 等[15-16]基于双目立体视觉原理，同时使用两个已检校相机，用于交通事故现场勘查取证工作；杨博等[17]使用已在检校场检校过的参数不变的相机进行交通事故重现。还有人尝试将摄影测量技术与其他技术相结合，如Bodensteiner等[18]尝试了融合单目影像与LiDAR数据进行相机检校；Geiger等[19]提出单目影像和量程传感器结合使用等。这些相机标定方法繁琐或要用到数个量测设备同时工作，无法广泛适用。

目前，在我国大部分城市与部分农村中，交通监控体系己经完成基本覆盖，视频图像是交通监控体系获取基础数据最主要的形式。但是单凭监控视频图像提供的二维平面数据的数据量有限，结合监控系统与摄影测量技术可以极大地加强监控获得现场数据的能力。虽然摄影测量学者对摄影测量技术在交通事故勘查中的应用作了一些研究，但仍缺少不需要占用交通事故道路且适用于普通道路监控的方法。

为解决该问题，利用监控影像定点、定向、帧率相同的特性，可将其分解为内、外方位元素相同且完全重叠的序列影像。基于该特点，本文给出一种以直接线性变换(Direct Linear Transformation，DLT)反变换的数学模型为基础、基于自检校的、有约束条件的、适用于普通单目道路监控的影像解析方法。并在交通事故勘查作业的应用中，针对交通事故勘查对效率高要求的特殊性，建立移动三维检校场以作为不占用交通事故路段进而高效率勘查的解决办法。

1 有约束条件的监控序列影像解析

首先在布设好标准的三维相机检校场后，测得检校场各标志点的物方三维空间坐标；随后通过直接线性变换反变换可计算出相机参数，即完成相机检校；最后以路平面方程为约束条件的DLT公式解算目标特征点物方坐标，解析监控序列影像。

1.1 单目监控相机三维检校场

在布设单目监控相机三维检校场时应遵循以下基本原则：

1)为解算DLT表达式中N个变换系数，至少需要n(n=N/2)个摄影标志。另外为了检验观测精度，需在视场内可观察到n个以上的摄影标志，其中多余观测点用作精度评定。

2)不同于二维相机检校控制场，三维控制场需要有一定的深度，摄影标志在空间中错落分布。

3)为提高相机检校可靠性，摄影标志应不易变形，耐腐蚀，标志点之间的几何关系长期或在一定时期内稳定。

4)影像中摄影标志易分辨，与周围环境颜色有较大反差，以方便图像中摄影标志的自动提取，即自动测量其像点坐标。

1.2 单目相机检校

1.2.1 DLT基本公式

经典的三维空间DLT直接线性变换表达式[20]：

(1)

其中x、y为目标像方坐标系坐标，X、Y、Z为目标物方坐标系坐标，l1～l11为11个变换系数。

根据式(1)，当有n(n≥6)个像控点的像方坐标和同名物方坐标已知时，就可以解出11个变换系数，该步骤即为DLT正算。

1.2.2 相机参数

通过11个变换系数l1～l11可计算出x方向线性改正参数Δx，y方向线性改正参数Δy；内方位元素：主点x0、y0，主焦距fx，副焦距fy；外方位元素：直线元素XS、YS、ZS，角元素ω、φ、κ；x轴与y轴比例尺不一致系数ds及CCD非正交性畸变系数dβ。

1.2.3 相机检校精度

一般相机检校精度评定由已知点物方坐标和被检校相机中像方平面坐标反算出的物方坐标相比较。本文为验证相机检校精度，使用三维激光扫描仪测得已知点物方坐标并计算出同一辆车的轮距真值，与使用本文方法检校的监控相机在每帧图像中测量的轮距相比较，并计算距离中误差。

1.3 目标特征点坐标解算

1.3.1 路平面方程

一般的，发生交通事故的一小段道路的一侧路面呈空间平面状，设物方空间中道路平面E的法向量为n=(A,B,C)，道路平面上的点坐标P(X,Y,Z)∈E满足

E∶AX+BY+CZ+1=0

(2)

式(2)即为路面平面方程。

1.3.2 路平面约束条件下特征点坐标解算

当解算出11个变换系数l1～l11后，测量目标特征点的像点坐标，可解算出物方点的X、Y、Z坐标，这个过程就是DLT的反变换。根据式(1)，对直接测量像点坐标进行线性和非线性改正后变为

(3)

其中(X、Y、Z)为目标物方坐标。

从式(2)可得到目标接触地面的物方点的Z坐标：

(4)

将上式代入式(3)可解出目标物方点的X、Y坐标：

(5)

之后再将算得的X、Y坐标带入式(4)算得物方点的Z坐标。至此就完成了特征点坐标解算。

2 实验研究

为验证本文提出方法的可用性，设计了如下试验，步骤为：(1)建立车载移动三维检校场；(2)监控相机拍下移动检校场后自动检校，获取变换系数、线性改正参数以及监控相机的内、外方位元素；(3)根据车轮与地面接触点，确定该段道路路面的特征参数；(4)选择车辆的明显影像特征参考点，如车轮与道路接触点，逐帧影像提取影像参考点的像点坐标，带入公式计算参考点的物方坐标；(5)根据车辆参考点序列坐标，绘制运动轨迹并根据目标几何特征，还原不同时刻目标物之间相对位置和方位。本文方法总体路线如图1所示。

2.1 移动三维检校场建立

传统相机检校需要在检校时设立检校场，其方法为在事故现场布设临时相机检校场或者对现场特征进行人为测量工作，此举有可能造成交通阻塞和次生事故。

为了避免这种情况的发生，设计了一种车载移动三维检校场。根据三维检校场的布设原则，控制点数目最少为6个，多余控制点可以作为精度评定。按上述单目监控相机检校场要求，在移动检校场上均匀布设38个控制标靶，标靶的每个角点都作为一个控制点。检校场和标靶如图2所示。

(a)三维检校场

(b)四边形标靶

用索佳NET-05全站仪测得所有控制点在统一坐标系下的三维物方空间坐标和四个车轮与地面交点坐标。再用Z+F5006h三维激光扫描仪对该检校场进行扫描，得到该检校场的密集点云坐标。通过点云坐标与全站仪测得的公共点坐标进行坐标系转换，统一两坐标系坐标，用坐标系转换后的密集点云中的公共点验证控制点坐标的正确性。

2.2 相机自检校

检校监控相机时，移动检校场驶过交通事故发生路段。用Photoshop软件在此段录像中提取出移动检校场拍摄清晰且占画面比较大的图像帧，用Shi-Tomasi算子自动提取移动检校场上6个以上的控制点坐标，并运用式(1)计算出11个变换系数。并根据该变换系数求出相机内、外方位元素，比例尺不一致系数和x与y轴不正交系数，就此完成了道路监控相机的检校。

2.3 实际交通事故目标特征点测量

以模拟交通事故为例。可从监控录像中看出，机动车与非机动车(自行车)在道路中同向并行，行驶一段距离后机动车与自行车“相撞”。

获取监控录像，画面分辨率为1 920*1 080 像素，录像帧速率为24帧/s。取机动车与自行车从相遇到相撞之间的15 s录像，用Photoshop软件每秒取第1帧图像并记录时间，根据实验车车轮与地面接触点坐标，带入式(2)中计算出肇事道路路面的特征参数，得到肇事路段一侧路面的空间平面方程。并在每帧图像中选机动车右前轮与地面交点和自行车后轮与地面交点的像方坐标。图3为截取的该交通事故模拟监控录像的16个图像帧。

图3 交通事故模拟现场缩略图

从截取的16个时刻序列影像中分别获取机动车右前轮、右后轮、左后轮、自行车后轮与地面接触点的像方坐标，另外在第1帧图像中获取道路边特征线的任意两处坐标。将获取的像方坐标带入式(5)计算出各个时刻机动车右前轮、右后轮、左后轮、自行车后轮与地面接触点的物方坐标、道路边线关键点的物方坐标。

2.4 多目标空间几何关系还原

在目标特征点测量结束后，需要进行目标的空间几何关系再现。首先根据获得的机动车右前轮、右后轮、左后轮的物方坐标与车头、车尾距车轮的距离模拟出机动车的空间模型，并通过获得的物方坐标绘制样条曲线，模拟出双运动目标的物方运动轨迹和道路边线，根据各个时刻运动目标的物方模型与运动轨迹还原目标的物方空间几何关系并进行事故模拟，图4为事故重现三维模型在事故道路面上的投影。