赵锋 刘茹 彭红梅 严升 高强

摘 要： 为了实时准确地检测视频中运动鱼体的尾频特征，提出基于鱼体关键特征点的尾频检测模型。通过计算机视觉图像处理算法得到鱼体的二值图像，根据鱼体形体特征及摆尾特征，鱼体质心、尾点、头点等特征点坐标建立鱼体摆尾角度几何模型。最后通过对连续视频帧内鱼体摆尾角度分析，得到鱼体摆尾频率的变化规律。实验结果表明，该模型能够实时有效地获取单帧图像中鱼体摆尾特征，且在pH=7（水质正常）、pH=5（水质异常）、pH=3（水质恶化）三种水质中的鱼体尾频测试结果与实验观测到的尾频变化规律相符合，处理每帧图像平均耗时93.6 ms，满足系统实时性要求。

关键词： 水质污染； 鱼体； 尾频； 特征点； 计算机视觉； 变化规律

中图分类号： TN911.73?34； TP391.41 文献标识码： A 文章编号： 1004?373X（2018）15?0051?05

A fish tail frequency detection model applied to water quality pollution identification

ZHAO Feng， LIU Ru， PENG Hongmei， YAN Sheng， GAO Qiang

（School of Communications and Information Engineering， Xian University of Posts and Telecommunications， Xian 710121， China）

Abstract： A fish tail frequency detection model based on critical feature points of fish body is proposed to detect the tail frequency characteristics of moving fish in video accurately in real?time. The binary image of the fish is obtained by means of computer vision image processing algorithm， and then the geometric model of the fish?tailing angle is established according to the physical and tail characteristics of fish， and feature points coordinates of fish centroid， tail point and head point. The fish?tailing angles within the continuous video frames are analyzed to obtain the change rule of the fish?tailing frequency. The experimental results show that the model can effectively obtain the fish?tailing characteristics in a single image in real time， the test results of fish tail frequency are consistent with the observed change rules observed in experiment under the conditions of pH=7 （normal water quality）， pH=5 （anomaly water quality） and pH=3 （deteriorated water quality）， and the average processing time of each frame image is 93.6 ms， which meets the real?time requirement of the system.

Keywords： water quality pollution； fish body； tail frequency； characteristic point； computer vision； change rule

0 引 言

鱼类对各种水环境参数的变化具有较强的感知能力，可以通过其运动状态、生理特征反映水质的污染状况[1]，其中运动状态包含了鱼类运动行为的最主要信息[2?4]。鱼体尾鳍摆动频率（尾频）是表征鱼类生命活性，描述鱼体运动状态进而评估水质变化的重要参数[5]。

目前鱼类运动状态分析已成为生物学、仿生学、计算机视觉等领域的热点问题之一[6?7]。文献[8]通过曲线拟合的方式获取鱼体骨架中心线，进而建立尾频活动模型，表征鱼体在不同监测水质中的活性程度。文献[9]提出基于欧氏距离变换的鱼体体干线提取方法，获得体长理论系数，进而建立鱼体体干运动模型。建立鱼体骨架及体干轮廓模型，可以在保持图像重要拓扑特征的前提下，减少图像的冗余信息，但模型建立过程中的多次拟合影响了算法的准确性。文献[10?11]基于中轴变换（MAT）思想建立青鳉鱼鱼体骨架模型，标定鱼尾参考点及鱼尾端点，进而计算得到尾鳍摆动频率和幅值等参数，该方法能够快速准确地获取鱼体骨架，但尾鳍参考点仍然需要探究更加准确的标定方法。文献[12]基于傅里叶变换轮廓测定法建立鱼尾三维运动模型，通过鱼体运动三维位移、时间曲线分析较为准确地获取尾频[12]，但算法模型复杂、运算量大，影响视频处理的实时性。

针对上述问题，本文通过实验研究鱼体尾频检测方法，建立尾频计算模型，并探究其在不同水质中的变化规律。通过计算机视觉相关算法实时准确地获取视频中运动的鱼体目标，并检测到鱼体目标质心、尾点、头点关键特征点坐标，根据特征点与鱼体摆尾角度的关系建立一种快速有效的鱼体尾频求解模型，实时获取尾频，并研究了不同水质环境中鱼体尾频的变化规律。

1 鱼体目标检测

为了用鱼体目标特征分析尾频的变化规律，首先需要实时准确地检测到鱼体目标，鱼体目标检测即将鱼体运动目标从视频图像序列中提取出来。首先进行统计学背景建模，从鱼体运动视频图像中得到背景图像[13]，使用背景差分法得到灰度目标图像，然后通过最大类间方差得到自适应分割阈值[14]，通过图像分割得到二值化的目标图像。在这期间，因为噪声的干扰导致部分噪声也被当做目标图像分割出来，因此，对分割后的图像作滤波处理。首先采用形态学方法滤波，通过腐蚀和膨胀后，区域重叠、小空洞以及边缘丢失的问题得到了有效改善，但小部分噪声区域仍然存在。因为常用的滤波算法针对所有像素点，对鱼体目标有一定影响且无法保证处理后的噪声被完全滤除。为了有效滤除所有噪声并完整地保留鱼体运动目标区域，本文设计了面积比较法滤波算法。在存在噪声区域的情况下，连通区域的数目比鱼体目标区域数目多，且各噪声区域的面积远小于鱼体目标区域面积。该算法的核心思想是计算并比较图像中所有的连通区域，将所有面积小于目标区域的连通区域删掉，仅保留鱼体目标区域。

以实验采集到的任一视频图像为例，检测鱼体目标并标记编号，处理过程各图像如图1所示。

2 尾鳍摆动频率检測

每秒内尾鳍摆动的次数即为尾频，尾鳍摆动角度阈值定义为[βT]，即同一条鱼在不同帧中若体尾鳍摆动角度[β≥βT]，则判定为尾鳍摆动且对摆尾次数更新，否则，摆尾次数不变。因此，尾频求解的前提是求解尾鳍摆动的角度。定义鱼体头点和质心的连线为中轴线，考虑到实际中鱼体可能为双尾，若双尾摆动角度不同，按照偏离中轴线最远的点计算，即将双尾等效为单尾模型，鱼体单尾摆动的示意图如图2所示。

由图2可知，尾鳍摆动角度与鱼体头点、质心点、尾点有关，定义质心到头点的距离为：

根据式（3）～式（6）求解摆尾角度的关键是得到鱼体头点、质心和尾点的位置，其中质心位置可以根据连通区域质心算法得到。实验观察发现鱼体质心更靠近鱼头部分，尾部尖端部分则是所有轮廓中距离质心最远的点，通过该特性可获取尾点位置。设鱼体轮廓点集合为：

实验观察结果显示，鱼体在游动过程中，鱼头和鱼尾之间的夹角不小于90°，根据该特征规律，以左下角为坐标原点建立直角坐标系，构造鱼体头点求解模型。首先，连接鱼体质心和尾点，然后作该直线的垂线l，则鱼头和鱼尾位于直线l的两侧，如图3所示为l在不同斜率下鱼尾和鱼头的分布情况，虚线一侧为鱼头的分布范围，则鱼头为该区域内鱼体轮廓线上距离质心最远的点。

在得到鱼体头点、尾点坐标后，将其代入式（6），计算出摆尾角度。

定义鱼体在第[k]帧视频中摆尾角度值为：

[Bβ（k）=0， β<βT1， β≥βT] （14）

则在第[n]帧视频对应的时间段内尾频值为（r为帧率）：

[fβ=k=1nBβ（k）*rn] （15）

3 实验结果与分析

3.1 鱼体尾频检测模型实时性分析

设计实验验证方法的可行性和实时性，通过彩色CCD相机采集鱼体运动视频，每帧图像大小为1 540×880，视频帧率为4 f/s。以任意2帧图像为例，其运动状态如图4所示。

假设[βT]=10，图4a）中1，2号鱼的质心坐标分别为（809，711）和（1 156，403）；尾点坐标分别为（671，572）和（962，297）；头点坐标分别为（894，796）和（1 281，425）；尾鳍摆动角度分别为7.90°和20.89°，则两条鱼的摆动值分别为0和1。图4b）中1，2号鱼的质心坐标分别为（448，327）和（945，112）；尾点坐标分别为（521，520）和（770，169）；头点坐标分别为（364，220）和（1 047，65）；尾鳍摆动角度分别为17.42°和6.70°，则两条鱼的摆动值分别为1和0。通过获取一段时间内尾鳍摆动值，将得到尾鳍摆动频率的变化规律，进而分析水质的变化。

通过LabVIEW实现算法模型，单帧图像处理耗时主要集中在图像形态学处理、轮廓提取、质心分析等，其余程序处理耗时皆不足1 ms，系统统计耗时为0，总共时间为93.6 ms。系统采集图像的帧率为4 f/s，即相邻两帧图像的时间间隔为250 ms，时间统计信息如图5所示。

3.2 视频序列鱼体尾频分析

通过实验观察，在正常水环境中，鱼体自由运动，大多数时刻尾鳍保持一定的摆动速度，呈现一定的规律，尾频在一定范围内波动；在污染物胁迫初期，水质异常，鱼体感受到刺激后急速游窜，摆尾较快，偶尔减速或静止，尾频降低，但整个过程总体尾频较高；当水质进一步恶化，超过鱼的耐受范围时，鱼体游动速度减慢，活性下降，尾频也随之降低，偶尔竭尽全力快速游动，摆尾突然变快，但整个过程总体尾频较低。以改变水质pH为例，分别测试pH=7（水质正常）、pH=5（水质异常）、pH=3（水质恶化）环境下鱼体尾频的变化规律，以各水质状态下连续1 200帧视频为例，实测结果如表1所示。

根据表1得到各水质状态下不同视频帧数区间内鱼体摆尾频率变化趋势图，如图6所示。

在100帧短区间内，鱼体运动状态的随机性和偶然性较为明显，各区间内摆尾频率均存在较为明显的波动。pH=3（水质恶化）环境下大部分区间内鱼体摆尾频率较低，仅有少数区间内的摆尾频率不小于pH=7（水质正常）环境下鱼体摆尾频率。pH=5（水质异常）环境下大部分区间内鱼体摆尾频率较高，仅有少数区间内的摆尾频率不大于pH=7（水质正常）环境下鱼体摆尾频率。同一水质环境下两条鱼的摆尾频率有较小的差异，总体较为相近，其中pH=3（水质恶化）环境下两条鱼摆尾频率差异较为明显，即不同鱼体在水质严重污染时个体差异表现得更明显。上述分析与实际观察到鱼体运动状态变化特征基本相符合。

鱼体运动状态的随机性和偶然性使其摆尾频率存在波动，通过置信区间对鱼体摆尾频率测量值的可信程度进行评估，在置信度为95%时，对各水质状态下鱼体摆尾频率的置信区间进行分析，分析结果如表2所示。

由表2可知，不同水质状態下鱼体摆尾频率的置信区间有较为显著的差异。pH=5时两条鱼摆尾频率置信区间下限均高于pH=7时摆尾频率上限，pH=3时两条鱼摆尾频率置信区间上限均低于pH=7时摆尾频率下限。

4 结 论

本文在实时准确地检测到鱼体目标的基础上，依据鱼体摆尾特性，提出一种鱼体尾频检测模型。实验结果表明：该方法能够有效地获取鱼体摆尾频率，且在不同水质中的测试结果与实验观察到的鱼体摆尾频率实际变化特征相符合，即该模型能够有效识别鱼体尾频规律，尾频变化能够有效地表征水质的变化。算法处理每帧图像的时间不超过93.6 ms，视频采集相邻帧图像时间间隔为250 ms，能够满足视频采集并监测处理的实时性要求。通过对鱼体尾频变化规律的分析，实时了解鱼体运动行为的变化情况，为进一步提高鱼体行为特征检测效率、建立生物水质监测模型提供理论依据和实验方法。

参考文献

[1] 赵小强，彭红梅，高强.一种鱼体运动特征视频图像检测方法[J].西安邮电大学学报，2017，22（2）：38?43.

ZHAO Xiaoqiang， PENG Hongmei， GAO Qiang. A video image detection method for fish motion characteristics [J]. Journal of Xian University of Posts and Telecommunications， 2017， 22（2）： 38?43.

[2] WANG Y H， CHEN J， TAO S F. Wavelet fusion application in water quality warning based on bio?detection technology [J]. Applied mechanics & materials， 2013， 295： 924?927.

[3] JEON W， KANG S H， LEEM J B， et al. Characterization of fish schooling behavior with different numbers of Medaka （Oryzias latipes ） and goldfish （ Carassius auratus ） using a hidden Markov model [J]. Physica A： statistical mechanics & its applications， 2013， 392（10）： 2426?2433.

[4] TAN J S， CHANG T K， OOI P L， et al. Fast and robust zebrafish segmentation and detection algorithm under different spectrum conditions [C]// 2014 IEEE Sensor Applications Symposium. Queenstown， New Zealand： IEEE， 2014： 189?194.

[5] 彭红梅.基于生物水质监测的鱼体运动状态检测系统研究[D].西安：西安邮电大学，2017.

PENG Hongmei. Research on fish movement state detection system based on biological water quality monitoring [D]. Xian： Journal of Xian University of Posts and Telecommunications， 2017.

[6] 程淑红，蔡菁，胡春海.基于视频算法的鱼类运动跟踪研究[J].光电工程，2011，38（2）：14?18.

CHENG S H， CAI J， HU C H. Fish motion tracking research based on video algorithm [J]. Opto?electronic engineering， 2011， 38（2）： 14?18.

[7] VASSILISM P， IOANNISE P， FANI L， et al. A computer?vision system and methodology for the analysis of fish behavior [J]. Aquacultural engineering， 2012， 46（1）： 53?59.

[8] 陈久军，肖刚，应晓芳，等.鱼体尾频运动模型研究[J].中国图象图形学报，2009，14（10）：2177?2180.

CHEN J J， XIAO G， YING X F， et al. Fish activity model based on tail swing frequency [J]. Journal of image & graphics， 2009， 14（10）： 2177?2180.

[9] 程淑红，胡春海，蒋振洲，等.动态图像序列中鱼体体干运动建模[J].光电工程，2012，39（3）：125?129.

CHENG S H， HU C H， JIANG Z Z， et al. The motion model for fish′s soma in dynamic image sequences [J]. Opto?electronic engineering， 2012， 39（3）： 125?129.

[10] 张融，郑宏远，李录，等.一种计量青鳉鱼胸鳍和尾鳍摆动频率和幅值的计算机视觉算法[J].生态毒理学报，2015，10（4）：154?161.

ZHANG Rong， ZHENG Hongyuan， LI Lu， et al. A computer vision algorithm which was used for measuring the oscillation frequency of the Japanese Medaka′s Pectoral fin and Caudal fin [J]. Asian journal of ecotoxicology， 2015， 10（4）： 154?161.

[11] 周振宇，邵振洲，施智平，等.基于机器视觉的鱼类模式生物在线监测技术方法研究[J].生态毒理学报，2016，11（1）：217?224.

ZHOU Zhenyu， SHAO Zhenzhou， SHI Zhiping， et al. Study on the method of fish model organism on?line monitoring technology based on machine vision [J]. Asian journal of ecotoxicology， 2016， 11（1）： 217?224.

[12] MING J， SHU Z， HE X Y. Instantaneous three?dimensional profile measurement of tail fin of carp [J]. Optics & precision engineering， 2009， 17（9）： 2165?2169.

[13] 胡江龙，方景龙，王大全.多目标跟踪算法在水质监测中的应用[J].机电工程，2012，29（5）：613?615.

HU J L， FANG J L， WANG D Q. Water quality monitoring using multi?object tracking algorithm [J]. Journal of mechanical & electrical engineering， 2012， 29（5）： 613?615.

[14] WANG H， LIANG Y， WANG Z. Otsu image threshold segmen?tation method based on new genetic algorithm [J]. Laser technology， 2014， 38（3）： 364?367.