唐晓暄 江苏省交通运输厅港航事业发展中心

熊波 长江荆州航道处

杨芳贵 湖北蓝宇航标股份有限公司

李昳婷 长江航道勘察设计（武汉）有限公司

1.引言

内河航道主要依靠配布的航标，标示航道的边界、走向以及碍航物等，向航行船舶表达航道要素信息。因此航标又称为船舶的守护神，是航行的眼睛。但是这些守护神又常常受到船舶的碰撞而失常，无法发挥正常的助航效能。尽管目前我国内河航道正在推广和应用航标遥测遥控系统，能够对航标设备的工作状态进行实时监测并对失常情况进行报警，但是受各种因素影响，误报率比较高。俗话说“耳听为虚、眼见为实”，随着CCTV视频技术的发展和普及，我国愈来愈多的内河航道，采取安装监视摄像头实现对航道特别是航标进行实时监视，进行远程实时场景巡航，并与航标遥测遥控系统相互印证，提高报警处理应急效率。

本文介绍了一种基于内河航标的新型智能化无人值守视频监测系统，该系统将视频设备嵌入航标灯内并置入基于国产CPU瑞芯微RK3399PRO神经网络计算芯片，在嵌入式设备中进行深度学习和神经网络计算，然后通过GPRS网络模块回传给后台，实现实时的船舶识别与报警。通过该系统研发，依托内河航标，将单纯的航标灯转化为了智能化无人值守平台，在船舶接近内河航标前，能主动发出高音和变光报警警示船舶驾驶者注意，以减少水上事故；若自身被撞击则可保存图片、视频证据并及时上传报警，以便追踪、锁定并处罚肇事逃逸者。系统服务的后台与多种通讯机制，可自动侦测网速变化启动文字、缩略图、短视频等三种回传消息，以适应不同信道,可在服务端远程控制、强制抓拍录像以检查水面情况。

2.系统设计的主要功能

根据内河航标使用、养护的实际需求，通过调研目前CCTV视频监控技术、航标遥测遥控技术、无线通信技术、航标灯技术以及人工智能技术等目前水平与发展趋势，并考虑到实用性、经济性和可行性，确定该系统实现的主要功能如下：

（1）视频摄像清晰度能支持通用的640p×480p～1920p×1080p画质；能实现轮询拍摄，可自定义拍摄间隔（秒）；

（2）船舶识别，对拍摄到的画面进行图像识别，识别主要的船舶种类；

（3）船舶标定，对识别到的船舶在画面中框定出轮廓外框；

（4）单目测距，基于识别和框定，测算船舶距航标的距离；

（5）碰撞检测和预警，用于检测航标灯受船舶碰撞事件，通过电子蜂鸣器鸣笛预警；

（6）视频录制，在预警后开启录像保存证据，视频编码格式为Motion JPEG，文件格式为avi，默认640p×480p画质，可自行修改，选配32GB～128GB SD卡，系统能保存不低于24小时的视频图像资料；

（7）抓拍连拍，在碰撞时紧急自动抓拍和连拍，保存证据；

（8）图片报警，对抓拍到的图片进行下采样压缩，然后回传给服务器后台进行初步的情况判别，适用于100kbps以下速率；

（9）文字报警，在网络有限时通过回传几个字节的消息通知服务器后台，可自定制回传消息，适用于10kbps以下速率；

（10）视频回传，支持远程手动下发指令回传指定视频文件，适用于1Mbps以上速率；

（11）文件管理，支持循环覆盖录制，自动命名，自动过期删除，重要文件加锁，文件解锁；

（12）远程配置，支持远程连接指定设备，修改设备主要配置；

（13）心跳维持，与服务器之间可设定心跳连接，在长期失联后服务器将报警；

（14）看门狗，在设备死机时会自动重启，从错误中自动恢复；

（15）服务器点播，可在服务器端查找、点播视频。

3.系统设计原理

为实现系统设计的主要功能，通过比选，选取基于国产CPU瑞芯微RK3399PRO神经网络计算芯片，外接各种传感器和网络模块，集成安装于一套航标灯内。整套设备除了标准的航标灯器组件外，还集成了摄像头、振动传感器、RTU控制板等终端设施。其系统硬件构成如图1所示。

图1 系统硬件构成示意图

图1中，一组三个摄像头组件用于轮询拍摄和录像，振动传感器组件用于感知船舶碰撞，GPS定位模块用于回传航标经纬度，光感应器用于感知白天夜晚实现开关灯控制，充电控制板用于太阳能充电及蓄电池组供电保护，4G网络模块用于与服务器后台通讯，终端设施嵌入式主控制板和一套运行其上的嵌入式软件控制，并接受系统服务器后台软件的远程通信和巡询、传输、报警和遥控。

4.系统实现

系统实现技术方案如下图2 所示。整个系统由9部分构成：轮询控制模块、船舶识别与标定模块、单目测距模块、视频录制模块、文件管理模块、预警与报警模块、网络传输流程模块、心跳与看门狗模块、系统服务器后台等。各部分的功能与作用如下：

图2 系统实现技术方案图

（1）轮询控制模块。本产品采用3个摄像头轮询方案以兼顾经济性和功耗。在航标灯底座间隔180度安装3个高清摄像头朝向3个方向，360度无死角监测航标灯周边水域。3组摄像头在自主监测模式下会以5秒（可远程设置）的间隔轮流拍摄照片。拍摄的照片经系统识别，认为船舶进入预设的危险距离内时，摄像头切换到跟踪模式，暂停轮询，对靠近船舶的摄像头以1秒间隔拍摄照片。检测到船舶与航标灯碰撞时，摄像头迅速抓拍3张，然后切换成录像模式，录制船舶视频。

（2）船舶识别与标定模块。船舶识别与分类模块主要利用了卷积神经网络，本产品采用MobilenetSSD框架和Rknn引擎，基于Mobilenet和SSD神经网络结合搭建了轻量级卷积神经网络，兼有Mobilenet识别快速和SSD识别精准的特点。其中的神经网络层包括有：输入层input、卷积层、连接层、规格化层、输出层等总计有120层。通过在PC平台上训练该神经网络后，将训练好的模型按照Rknn约定导入到系统控制板上，即可对摄像头拍摄的图片进行识别分类和标定。

（3）单目测距模块。根据船舶图片，采取深度学习方法，根据画面内容和预先训练好的识别系统，即可判断船舶的类型，然后可将识别到的船舶用长方形线框框出并得到船舶所占画面的大小。一般来说，同等船舶大小时，识别船舶的线框越大，说明此船离摄像头距离越近；不同船舶大小时，越大的船在同等距离下线框所占比例也应越大。进一步根据此类船舶的大小以及框出的线框所占画面大小的比例，可计算出船舶与拍摄点之间的大致距离。

（4）视频录制模块。根据视频录制配置文件里的参数进行视频录制，配置文件支持后台服务器远程修改，可根据要求录制不同分辨率的视频。录制的视频按指定大小存储在SD卡内，并以录制完成时的时间命名。此模块由预警模块调用。

（5）文件管理模块。对照片和视频采用类似行车记录仪式的循环覆盖式文件管理系统。如摄像头逐帧录制视频，当视频大小达到指定大小（支持修改）时就保存为一个.avi文件存储在本地SD卡中，并以当前的时间命名。当系统检测到SD卡存储空间不足时，会自动删除最早录制的视频文件。支持对重要视频文件设置文件锁，加锁的视频文件不会被自动删除，也可通过服务器后台发送指令解除文件锁删除文件。文件管理流程如图3所示。

图3 文件管理流程图

（6）预警与报警模块。预警模块用以通过声光预防与提醒船舶与航标船碰撞，促进航线安全。报警模块则根据网络条件按照梯次进行消息回传。

当船舶到达航标灯的预警范围内，预警与报警模块采取三级模式，以及由粗到细、由远及近的记录方式：

初级预警：航标船检测到船舶接近预警距离，即发声示警，尽最大可能避免下一步的撞击事件发生。

二级预警：航标船检测到船舶接近危险距离，即开启图片预警，启动3个摄像头轮询抓拍3张照片，提取1/8分辨率或1/16分辨率图片打包后成为缩略图发送给服务端，用于下一步撞击事件发生时记录初略的事故现场，以便大致了解状况。连续过程动作包括：

1）摄像头连续抓拍图片。

2）所得图片进行白平衡、强光抑制、去雾、锐化等图像增强处理。

3）进行1/8或1/16的下采样动作生成分辨率较低容量较小的图片。

4）对储存在设备中的这些照片进行文件加锁，防止意外删除这些照片，但此锁可以通过服务端进行指令解除。

三级预警：即为视频录像，在二级预警的相关操作完成后，开启视频录像，记录一定时间内的视频，并对此视频上锁，防止发生意外被系统删除。

当初级、二级预警完成后开始三级预警进行视频录制。在录制过程中每隔一段时间即保存一份文件，命名格式为“设备id_时间戳”。录制的视频只能通过服务端进行指令控制发送上传，上传远程进行指令解锁文件，使其恢复成为常规文件队列，存储空间满后按照FIFO进行删除与保存新文件。

若航标灯碰撞检测（加速度传感器）模块没有发出报警信号，而只有分类距离判别模块发出预警信号，则只启动第三级预警，进行视频的录制，同时在录制过程中，每隔T秒提取一帧图片交给分类距离判别模块进行分析，T为一个根据应用环境可调整的参数。如果船舶距离已经远离了门限距离，则停止录制，解除警报。

报警模块会接受加速度传感器模块与分类距离判别模块的检测信息。加速度传感器模块若传来碰撞信息，说明已经有船舶或不明物体碰到了系统，这时报警系统启动，触发报警，立即发送报警文本消息和航标灯设备编号给后台服务端，进行初步保存记录，在网速合适时，梯次发送缩略图和短视频进行报警。

（7）网络传输流程模块。通过RS485模块可与航标灯系统进行通讯，接收其相关工作数据并通过4G网络模块转发给服务器。支持联通、电信、移动4G SIM卡及物联网卡，可远距离连接基站，将抓拍文件传回服务器，并可接收控制命令，将锁定录像文件按要求回传到服务器留底。

（8）心跳与看门狗模块。心跳程序开机自启动，收集各传感器健康状况发送到后台服务器。若后台一定时间内未收到某设备的心跳信息，则认为该设备故障。看门狗模块定时判断目标进程是否运行，如果没有则启动目标进程；定时判断目标进程是否“没有响应”，如果是则终止并重启目标进程。

A.心跳

心跳机制为网络中的定时发送自定义的数据包去告知服务端自己还存在，能正常工作。当发送的数据包不正确或者不在指定的时限内，即可视为此设备故障。心跳模块向后台服务器发送一定数据包，以识别设备是否可以正常通信。如果发生错误，则更新设备状态（错误），并在服务器端显示故障设备。心跳原理如图4所示。

图4 心跳原理图

B.看门狗

在嵌入式设备中，所使用的软件可能存在各种问题，当遇到一些比较复杂的问题时可能会使得软件陷入死锁，即为死循环，导致设备无法正常运行，此便需要其他工具迫使此软件进程强制被“杀死”。那么如何判断软件运行错误，此时便需要看门狗模块去进行判断并进行复位处理。看门狗本质上是一个可复位的计数器，当它启动时，计数开始，在一定的时间内进行计数，计数器值到规定时限时，计数器将被清零，并重新计数。如若计数器未被重置或重置超时，这时说明目标进程出错，则重启目标进程。其工作原理如图5所示。

图5 看门狗工作图

（9）系统服务器后台。服务器后台提供一套网页操作界面，可以在页面上实时显示各个航标灯设备的状态（通过接收到的心跳信息判断设备是否故障），并且可以对航标灯设备进行一些远程操作，例如视频加锁、切换摄像头模式、更改图片与视频参数、设备重启等。同时支持对已上传视频的在线点播和已上传图片的在线浏览。

5.现场船舶分类识别实例与分析

为了测试系统总体性能，先后进行了船舶照片的模拟测试、及在长江荆州段进行了航行船舶实船测试。

在实测中发现由于分类不够精细，同一类别下的船舶轮廓数据可能差异较大，导致实测距离会出现较大偏差并导致误报。为此对应五大类不同船舶设定其类别轮廓上下限，并设定了分段距离表，将准确距离求解转为距离区间判别，该方法可有效减小误报率。由于此应用的主要目的是检测接近的船舶，对距离较远的船舶可以忽略，因此在SSD框架中最小归一化尺寸比的下限Salami可设置到较高的数值，如0.35以上。

表1为不同光照条件下的船舶检测结果，可见系统对单帧图片的平均检测时间小于0.02秒，计算速度可支撑30fps的视频流。在夜间光照条件不足时，检出率有较大下降。而通过强光抑制算法，即使是背光下检出率也达到92%，基本满足要求。

表1 船舶检测结果

表2为不同船舶的识别分类结果，可见军舰类别船舶识别率最高，其原因为长江段军舰本来就少，训练集数据与检测集数据差异较小，另一方面军舰轮廓较大，符合越大越容易识别的特点。其他类型的船舶识别率可达90%以上。

表2 船舶识别分类正确率

6.结论

本文所介绍的已研发成果的基于内河航标的新型智能化无人值守视频监测系统，通过“互联网+”与“智能+”的技术手段，将自带智能的视频设备嵌入安装在传统的航标灯设备中，使每座航标灯都成为守护航道安全、解决航道监测的一双慧眼，实现了监控航道、辅助保障内河航道通航安全的目的。该研究对实时预警、辅助监控航道安全、辅助调查取证、降低监管成本、提高监管效率具有直接的经济价值，同时对保护国家和人民生命财产安全、保护内河航道生态也具有重大的社会意义。