张胜茂,张衡,唐峰华,吴祖立,么宗利,樊伟

(中国水产科学研究院东海水产研究所,农业部东海与远洋渔业资源开发利用重点实验室,上海200090)

计算机视觉技术在监测鱼类游泳行为中的研究进展

张胜茂,张衡,唐峰华,吴祖立,么宗利,樊伟

(中国水产科学研究院东海水产研究所,农业部东海与远洋渔业资源开发利用重点实验室,上海200090)

借助计算机视觉技术研究鱼类游泳行为已逐渐成为热点课题,它模拟生物视觉原理,通过处理采集的图片或视频获得动态目标参数信息,以达到对鱼类游泳行为监测分析的目的,本研究旨在介绍国内外该领域的研究进展,并展望其发展趋势。首先介绍鱼体监测目标的种类选择与影像获取方法,然后介绍影像中的背景去除与目标检测,并对影像数据直接和拟合提取目标参数的单个鱼体目标游泳参数提取方法,以及运动预测法和特征匹配法的多鱼体目标监测方法进行详细阐述,对游泳行为监测参数进行分类,并介绍了相关影像处理常用软件,最后总结了计算机视觉监测存在的难点及未来发展趋势。

计算机视觉;游泳行为;目标检测;鱼类跟踪

计算机视觉(Computer vision)技术是一种快速、经济、有效的测量和评价手段,通过实现人的视觉功能,来感知、识别和理解三维场景,可以根据轨迹、位置、尺寸、形状、加速度等进行鱼类游泳行为的识别与分析[1-2]。对鱼类游泳行为的研究为改进捕捞技术、优化养殖环境、监测水源水质[3-4]、增强渔业资源保护与管理能力提供了理论基础,是鱼类行为学、生理学、生态学等学科的重要研究内容[5]。早期鱼类游泳行为监测以直接观察和手工记录为主[6],基本处于定性阶段,受人为主观判断影响较大,且耗时较长,试验数据的可靠性较低。而对鱼类行为的研究需要大量应激反应、集群、洄游等实测数据,这些数据的获取是一个耗时费力的过程[7],影像技术的出现提高了试验数据的准确性和试验效率,有效地推动了鱼类行为学分析技术的研究发展[8],早在1933年,动物学家就开始用电影胶片纪录鱼类运动及转向过程[9]。近年来,计算机视觉监测技术发展迅速[10-11],可在自然光条件下拍摄鱼类活动,快速获取鱼的位置、方向、游速等信息,这种方式不干扰鱼类活动,鱼类不会产生应激反应,获取的数据既可以辅助鱼类行为特征分析[11-12],也可以用于验证鱼类行为建模效果。使用计算机进行鱼类图像的处理,可以大大提高工作效率及准确度,实现非干扰式的长时间连续监测、高频率快速量化获取游泳行为参数,以用于鱼类游泳能力评价,对辅助鱼类的养殖、捕捞、鱼道建设,以及研究鱼类生长、繁殖、捕食等规律均有重要的生物学意义[8,13]。

1 监测目标鱼的种类选择与影像获取

1.1 监测目标鱼的种类选择

鱼类游泳行为研究的对象受实验室观察条件所限,监测的鱼类目标不能太大,游动性不能过强,因此,监测对象多为幼小鱼体或体型小的成鱼,需选择鱼类习性较适合研究目的的物种。胭脂鱼Myxocyprinus asiaticus是中国二级保护动物,仔鱼期体长为1.6～2.2 cm,体形细长,体长为体高的4.7倍,具有典型的集群行为,非常适合借助视频技术开展早期发育阶段集群行为的发生过程研究[14]。斑马鱼Danio rerio体型纤细,成体长3～4 cm,斑马鱼和人类基因有着87%的高度同源性,有学者采用高通量视频跟踪技术检测48孔板中斑马鱼幼鱼游泳行为参数的变化,研究低剂量镉对其神经发育的影响[15],利用视频跟踪系统研究敌敌畏对斑马鱼游泳行为的影响等[16]。鲤科Cyprinidae鱼种多分布广,该科鱼种是主要的淡水养殖品种,其游泳行为差别大,是较好的影像监测研究对象,如杂食性的鲫Carassius auratus,草食性的中华倒刺鲃Spinibarbus sinensis和草鱼Ctenopharyngodon idellus,滤食性的鳙Aristichthys nobilis和鲢Hypophthalmichthys molitrix,通过视频技术容易比较研究食性对鲤科鱼类流速选择行为的影响[17],鳊Parabramis pekinensis较其他鱼类对温度更为敏感,可研究温度变化对其自发运动的影响[18]。

1.2 影像信息获取

在客观世界的三维场景中,计算机视觉技术利用计算机来模拟人的视觉功能获取空间影像,并对其进行数据处理与信息提取,最终用于现实中的检测、测量、跟踪等[19],客观事物的视频信息获取是进行计算机视觉应用的第一步。

1.2.1 单摄像头 玻璃水槽一般采用立方体,四周粘贴白色防水纸张以减少镜像的影响,使视频图像背景比较均匀、清晰,单摄像头一般放置在玻璃水槽的正上方,并使镜头正对水面[6],也可以放置在水箱的4个侧面监测鱼缸中鱼的生态状况[3,19-21],记录的位置为二维坐标。单摄像头与一个反射镜组合可记录鱼在玻璃水箱中的三维空间坐标,如将摄像机放置在水箱的侧面,水箱上方安装一面可调节角度的反射镜,拍摄时镜面倾斜角为45°,相当于设置一台从上向下拍摄的虚拟摄像机,实现单摄像机的三维成像[7,12],反射镜也可以放置在水箱的其他侧面组合拍摄[22],如图1-A所示。水箱4个底角中的一个角可以作为原点,该底角相交的3个水箱边缘限定为坐标轴,摄像机获得的真实图像和反射镜获得的虚拟图像,经过坐标系的变换可获得三维坐标。

1.2.2 双摄像头 从不同角度同时拍摄记录鱼类活动的双摄像头平台比较容易构建,可以把一台摄像机放置在水箱正上方记录水平坐标面,另一台放置在侧面记录垂直坐标面[23]。也有研究者把两个摄像头安装在底面平台的两个导轨上,用计算机控制电机驱动导轨,实现二维跟踪自由游动的鱼,其中一个摄像头方向向上拍摄底视图,另一个摄像头的拍摄方向也朝正上方,但通过在鱼缸侧面45°处放置一个条状的反射镜拍摄鱼的侧视图[24]。借助激光束和反射镜,双摄像头也可以对鱼鳍活动引起的粒子图像测速[25],水箱侧面有两个摄像头,在水箱底部由氩离子激光所提供的光束被圆柱形透镜聚焦后,从水箱底部将其投射到流动池的工作区

中,其中一个高速摄像头记录由鱼鳍活动引起水粒子的运动图像,水箱中安装45°反射镜,另一个摄像头记录反射镜中的鱼体侧面。

1.2.3 多摄像头 多个摄像头可以根据不同研究目的进行组合监测,能够获取鱼类精细的三维结构,或者获取较大视场范围内鱼类的同步活动。3个及3个以上的摄像头能实现立体监测,从不同角度同步拍摄获取鱼体摆动参数[26],如图1-B所示。Santana-Garcon等[27]以2个摄像头为一组,从5～200 m的不同深度部署多组摄像头,组成立体远洋水下视频系统,立体监测中上层鱼类游泳群聚。Watson等[28]用3组摄像头组成水下立体视频系统,在澳大利亚西南部哈梅林湾3个珊瑚礁区,研究温带珊瑚鱼的相对密度和物种丰富度。Bryan等[29]把4个摄像头按照一定间隔安装在底拖网上辅助资源调查,在拖曳底拖网时,分析比目鱼的游泳行为及逃逸情况。Kane等[30]用12个彩色CCD相机定量分析鱼游泳行为应激反应,他把游泳行为的改变作为亚致死毒性监测的质变点,并以此作为一个毒理学影响的环境风险评估和分析工具等。

图1 鱼类行为的视频监控示意图Fig.1 Fish behavior video surveillance

2 鱼类游泳行为的监测

2.1 背景去除与目标检测

通过摄像头获取的影像在监测目标游泳参数提取前,一般均要先经过图像预处理、背景去除和目标检测。在图像预处理时,彩色图信息量大影响处理速度,一般需要转化成灰度图像,图像采集、传输及处理中常有噪声影响和干扰,如鱼体图中有缝隙或不完整,鱼体边缘存在毛刺,背景中有小块的像素斑点等,一般采用中值滤波、阈值滤波和形态学等方法去噪[4]。

因研究对象是鱼体,故需将鱼体影像从水体、鱼缸等背景中分离开来。常用的背景去除与目标检测方法有帧间差分法、光流法、减背景法、多尺度分水岭分割算法、时空域联合分割算法等。帧间差分法检测运动目标速度快,且不受光照变化影响,适用于静态场景中的运动目标,以提取出鱼体二值化图像[6],但用相邻帧之间比较,前景图像易出现空白。光流法是用运动序列图像中亮度模式的流动反映目标运动信息,能在相机运动的情况下获取动态目标,由于使用迭代方法复杂度高,需有较高的硬件要求,不适用于实时性要求较高的环境。减背景法是用当前的视频图像与背景比较,提取出与背景差别过大的像素作为目标,因此,需要事先对前景建模。多尺度分水岭分割算法能够有效抑制分水岭过度分割,算法以变化检测为基础,通过相邻两帧的帧差得到目标运动区域,精确分割鱼类运动视频目标得到鱼体影像[4]。

2.2 单个鱼体的目标监测

2.2.1 影像数据直接提取目标参数 图像经过预处理、背景去除和目标检测后,可以通过提取鱼体曲线和计算胸尾鳍位置等提取鱼体局部游泳参数,也可以通过提取鱼体质心和计算空间位置等提取鱼体游泳速度、角度等信息(图2)。

图2 影像数据直接提取目标参数Fig.2 Target parameters directly extracted from the images

鱼类游动主要靠躯干、尾鳍、胸鳍协调配合,准确提取时间序列中鱼体躯干、尾鳍和胸鳍的体曲线是分析鱼类游泳机理的关键。研究中可通过图像差分后经阈值划分提取出鱼体的轮廓,再利用能量函数抽取出鱼的体曲线,然后用样条曲线参数拟合,得到鱼游动时体干曲线变化的准确数据和各种运动学参数[31]。也可以通过距离变换求卷积的方法计算鱼体骨架,再拟合中心骨架线得到鱼体曲线[24],在图像中以白色代表目标,黑色代表背景生成二值图像,用距离变换法把二值图像变换为灰度图像,该图像的每个输出像素被设置成与输入图像中背景像素最近的距离。随后对距离变换图进行卷积运算,保留结果中像素灰度值最大值,把获得的图像通过阈值分割转换为二值图像获得骨架,这时骨架不连续,宽度不是单像素,有毛刺或分支,经过形态学运算中腐蚀、膨胀、开运算和闭运算得到一个单像素宽度的连续骨架[32]。用一阶重心矩方法提取质心,定位骨架中鱼尾末端的坐标及胸鳍根部和末梢的坐标,以鱼尾鳍末端到鱼体曲线在质心处切线的距离作为鱼尾鳍摆幅,鱼体曲线在鱼尾鳍末端处和质心处两切线的夹角作为鱼尾鳍摆角,鱼尾鳍平面和竖直面的夹角作为鱼尾鳍扭转角,胸鳍根部所在的水平面内,鱼体表面在鳍根处的切线与胸鳍在该水平面内投影的夹角作为胸鳍摆角,胸鳍平面与竖直面的夹角作为胸鳍扭转角,胸鳍与水平面的夹角作为胸鳍俯仰角[24]。

经过背景去除与目标检测,可以获取到鱼体图像,整个鱼体的游泳运动检测实质就是把鱼看成一个质点,提取质点轨迹,计算速度、方向等参数,如图2所示。图像处理中几何不变矩可以作为一个重要的特征来表示物体,用目标区域的形心坐标来表示物体的位置,区域的不变矩特征,作为目标图像的形状特征参数能通过计算区域内的像素点得出,目标的形心可以采用边缘提取后的目标进行计算,利用Sobel算子提取鱼体的边缘,通过边缘轮廓计算形心点,把形心点作为跟踪点,模拟出鱼类运动轨迹,该方法用于不是特别复杂场景中的鱼类跟踪具有较好的效果[6]。此外,也可以基于边缘多值的权值计算方法,进行加权Hausdorff距离度量,根据边缘多值图像分配权值,定位鱼体目标,实现精确跟踪目标[4]。

2.2.2 影像拟合提取目标参数 通过影像拟合间接提取鱼体目标游泳参数的过程如图3所示,图像要经过预处理、背景去除和目标检测,还要创建鱼体三维模型,再在每个相机拍摄的图像中,点击鱼嘴和鱼尾,校准模型和相机,并初始化鱼体位置。在拍摄的图像中分割出鱼体目标图像,预测鱼的位置、方向和身体曲率等参数初始化模型,并经过多次变换这些参数[33],找到最佳参数值,最大限度地减少模型虚拟影像与鱼体目标图像间的差异。当虚拟图像在与所有相机中的鱼体图像匹配均为最优时结束图像比较,计算模型的质量中心,提取出鱼体的游泳参数[34]。

图3 影像拟合提取目标参数Fig.3 Target parameters extraction from image fitting

一个虚拟的鱼体三维模型由多个横截面组成,通过改变模型的参数可模拟鱼游泳时的不同形态。沿着鱼体从头到尾的方向,间隔一定距离横向切割产生多个截面,这种方式对表现鱼体形状具有较大的灵活性,通过这些截面容易创建三维表面模型,且在鱼体弯曲的情况下可通过模型横截面简单的旋转和平移来模拟。以斑马鱼幼鱼为例,将其分成躯干、眼睛和内侧鳍,它们的截面形状分别由3次样条函数、超椭圆和普通椭圆来描述,身体不同位置的截面形状参数,通过与真实的鱼体对比确定[35]。鱼体上每一个位置以及3部分的外部轮廓合并成为一个完整的横截面,所有合并的横截面有相同数量的边缘点,可以将它们连成四边形的面,从而创建一个三维表面模型,由于横截面垂直于鱼体的中心线,因此,基于中心线位置可以较容易地改变模型形状。接下来需要对多个相机拍摄的影像进行图像分割,划分出鱼体目标的图像,用于与模型投影的虚拟影像拟合对比。图像拟合效果由鱼体模型投影虚拟图像与当前时间图像间的重叠情况来判断,将三维鱼体模型投影的虚拟平面图像叠加到分割后的图像,统计合成的图像中所有非零像素数,再减去重叠影像中非零像素数,虚拟图像与实际图像间不重合的像素的总数反映拟合的效果。假设模型截面密度相同,可以计算出模型的质心,以图像最佳拟合时设置的位置、方向和身体曲率参数作为当前图像中鱼体的形态参数,由多个图像提取的模型参数可进一步计算出游泳速度、鱼体左右摆动角度、上下摆动角度和滚动角度[26]。

2.3 多鱼体的目标监测

鱼类群体游泳行为广泛存在于大自然中,它对鱼的觅食和躲避天敌等起到至关重要的作用[36],从视频中准确地鲁棒性恢复多目标鱼体轨迹是一个具有挑战性的问题。经过背景去除检测到鱼体目标后,进行位置提取与运动跟踪、轨迹联接,提取鱼的位置、轨迹、速度和方向,可以进一步计算出鱼体间的距离、夹角等参数,为研究鱼类群体结构特征提供依据,如图4所示。摄像设备获取影像的覆盖范围一定,且鱼类行为观察水箱一般体积有限,当两条或多条鱼游到一起,或距离较近时容易出现相互遮挡,因此,多目标跟踪的难点是不同目标区别跟踪,常用的方法有运动预测法、特征匹配法。

图4 多鱼体目标监测Fig.4 Multi-fish target detection

2.3.1 运动预测法 鱼体目标影像体现为多个像素组成的面,一般以鱼体连通区域的质心或鱼体头部中心点进行跟踪,在搜索窗口内进行搜索,若能找到匹配区域,将新位置添加到目标轨迹中,若在搜索窗口内找不到匹配区域,且目标数小于总目标数据,说明发生遮档,则跟踪结束。当发生遮挡的鱼之间相互分离,到一定距离时,在运动检测中就会发现新的目标出现,则分裂结束,分裂前预测目标区域可能位置,分裂后将预测区域与分裂出的目标区域匹配,如果匹配成功,则两个目标关联,如果目标匹配失败,则作为新目标进行跟踪[37]。为了减少遮挡带来的歧义性问题,一般是通过统计方法预测目标的位置,常用的统计方法有贝叶斯理论、卡尔曼滤波、粒子滤波、核密度估计等[38]。王丽娜等[3]采用二阶卡尔曼滤波器预测运动目标的位置,在对预测后的运动目标和前景目标进行匹配时,利用图像块匹配来精确定位目标的位置,对鱼缸内放养的6条小型热带鱼的视频图像进行运动目标检测与跟踪。徐盼麟等[7]通过目标跟踪窗确定和窗内量测选定来定义鱼的初始信息,再基于

JPDA(Joint probabilistic data association)计算出所有鱼的量测值和每条鱼间相互关联的概率,通过卡尔曼滤波进行下一帧目标的预测和跟踪6条红鼻剪刀鱼Hemigrammus bleheri。Bojilov等[39]用联合概率数据关联方法结合交互式多模型算法(Interacting multiple model algo-rithm,IMM),提出多个机动目标跟踪的高效方法。预测鱼体目标位置然后匹配的方法识别速度快,可以用于实时的环境,但会出现目标识别错误,产生后续的目标跟踪错误叠加。

2.3.2 特征匹配法 鱼体游动时有些特征变化较小,可以看作是刚体的运动,可作为识别鱼的特征。如斑马鱼在游动过程中头部区域基本无形变,提出头部和鱼眼显著性特征,然后通过统计学方法设计的基于鱼眼的鱼头检测器,实现快速、准确检测鱼头的位置和方向,在有多个目标被跟踪时,用检测鱼眼算法检测图像后,需要在检测到的目标与跟踪器间建立对应关系,即多对多关联,每个跟踪器与其附近最匹配的检测值关联,达到多目标跟踪,在严重的身体遮挡情况下基本也能工作[40]。鱼体纹理特征也可以作为不同个体的识别标志,使用纹理特征识别视频中的每一个个体,通过识别跟踪,防止目标跟踪错误的传播,并可在一段时间内重复使用纹理特征识别[41]。特征匹配识别方式基本可以实现鱼体目标准确识别,但由于多个目标要分别匹配,计算量大,因此,跟踪目标数量受限。

3 游泳行为监测参数与应用

3.1 鱼体局部监测参数

鱼体游泳运动的动力主要是来自躯干部和尾部的摆动,背鳍、腹鳍、臀鳍、胸鳍均有保持鱼体平衡的作用,Gibb等[42]通过处理拍摄鱼的侧视和底视图,分析得到了胸鳍的摆动频率、速度与鱼游动速度的关系。尾鳍主要决定运动方向,Ferry等[43]在鱼尾鳍加了8个标记点,拍摄鱼的后视和侧视图,测得鱼游动时鱼尾鳍各点的分布,得到鱼尾鳍运动参数。吴冠豪等[24]通过处理跟踪时记录的图像,获得了鲫在前游、倒游和拐弯3种运动模式下的身体曲线,以及尾鳍和胸鳍的运动学参数。Lauder等[44]研究了鱼类游泳运动中胸鳍的功能,以及背鳍和尾鳍间的水动力相互作用,并将研究成果应用到水下机器人动力推进上。

3.2 基础监测参数

首先从影像数据中提取出鱼体位置信息,一段时间获取的系列位置点组成运动轨迹,轨迹是开展鱼类游泳行为学研究的一个基础参数。在水质监测系统中跟踪鱼的运动轨迹,提取可以反映水质污染状况的鱼类行为参数,如利用运动轨迹计算鱼群的运动状态(速度、高度、间距等),检测运动轨迹出现急剧变快的影像,并根据鱼群的游动状态变化判断水质的突变[21,37]。在实际养殖环境下对鱼类运动轨迹的实时跟踪,可以检测鱼群异常行为,能有效地应用到现代化水产养殖中,从而提升养殖技术含量,为网箱养殖提供可靠依据[6]。王卓等[16]利用视频研究了斑马鱼染毒前后运动轨迹变化,正常情况下斑马鱼进入新环境后会有明显的探索兴趣,对照组斑马鱼较频繁地上下穿梭,在箱壁附近活动较多,染毒后的斑马鱼行为出现明显的刻板转圈行为,随着浓度的增加,运动轨迹单一集中在顶部。

3.3 单位时间监测参数

鱼类的游泳行为特征需要通过鱼的游动速度、角速度等数据来表达。由鱼体时间序列位置点(轨迹)可以计算出单位时间监测参数,徐盼麟等[7]基于单摄像机视频输出红鼻剪刀鱼的三维坐标,计算出鱼与鱼间的实时距离、夹角,以及鱼体实时速度和方向等参数。视频图像提取鱼的平均游泳速度和高度,可以判断鱼的健康状况,分析鱼类行为[3]。史慧勤等[15]采用高通量视频跟踪技术检测斑马鱼幼鱼的移动距离、平均速度、最大速度、快速运动频率参数对不同浓度氯化镉受试液刺激的变化。时间单位的长短可以根据具体研究目的确定,王卓等[16]分析了斑马鱼6 min的单位时间数据,发现该鱼随着染毒浓度的增加,水平移动距离和穿梭次数逐渐减少。

3.4 状态持续时间参数

根据鱼体游泳平均速度、最大速度、移动距离等划分试验中鱼体的状态,然后统计一段时间内各状态的持续时间,评价鱼体对某种环境的适应性。自然生境中常发生环境温度变动,影响鱼类自发游动,彭静等[18]研究恒温和周期性变温对鳊幼鱼自发运动的影响时,利用视频处理技术获取圆形水槽外周和中心区域鱼停留的时间,以及整个过程中鱼运动的总路程、运动和静止时间,同时,通过上述指标计算出运动过程中的平均速度和运动占总过程的时间比,作为评价试验鱼自发运动的相关指标。鱼类对水流速度存在选择性,吴青怡等[17]设计了直径呈线性增大的圆锥形流速选择仪,用梯度流速判断鲤科鱼类的流速选择,分析得到每个速度区域试验鱼的停留时间,并计算单次进入的平均停留时间和停留时间比例。

3.5 群体监测参数

根据位置、轨迹、速度、方向等参数,可以计算出鱼体间的实时距离、夹角等参数,为进一步研究鱼类集群行为、群体结构的空间关系提供参考[7]。目标鱼和最为邻近鱼在两个较短时刻,它们的相对距离的变化作为分离游泳指数,用于表示鱼群中的平行游泳指数,研究游泳能力和群居习性之间的关系[14]。选择某时刻多个试验对象中的一条鱼作为中心,选择目标鱼附近n(n小于总数)条鱼中的最短距离,然后以离中心鱼最近的n条鱼为目标,计算每一条鱼到最近鱼的距离,可以得到n+1个针对一条中心鱼的数据,取其平均值即为该时刻的最近邻距离,该距离除以鱼体全长,就是相对全长最近邻距离,该指标被用来评价鱼类群体的紧凑程度[14],其游泳模式随着集群行为的发生由间歇高速游泳向持续巡游游泳转变。

4 鱼类游泳监测相关影像处理软件

鱼类游泳行为参数提取基本通过计算机软件程序实现,研究者使用的软件主要有商业软件、免费软件和个性化开发软件3种。荷兰诺达思公司的商业分析软件Noldus,能对鱼的胚胎以及幼鱼和成鱼的观察数据进行收集、分析、表达和管理,并对其行为过程进行科学的数据化分析[45-46]。法国威尼尔公司的Logger Pro可作为数据采集和行为分析商业软件,能逐帧捕捉录像中的图像,有数据采集和量化分析工具,易于学习和使用。丹麦Loligo公司的水生动物行为学研究商业套件Loligo Systems,可以方便地研究游动的鱼的生理、能量学、行为、生物力学和动力学[47]。美国迈斯沃克公司的Matlab软件有数学库、图形库和强大的图像处理工具箱,支持多种图像格式,图像处理工具箱有图像变换、图像分析、特征提取等工具,用户可以自定义编程实现。加拿大迈创图公司的Matrox MIL商业分析软件有配套的硬件设备,带有扩展优化函数(图像采集,显示和存档)的高级编程库,是一个管理图像采集、显示和存档的动态控件的集合,用户可自定义开发。SwisTrack是在GPLv3许可协议下的免费软件,采用OpenCV库进行快速图像处理,提供了应用软件和源代码,可用于鱼类的视频分析,但只能实现二维平面上多目标自动追踪[48]。一些研究者用免费的EmguCV、OpenCV库,以及收费的Matrox公司MIL8.0库等做二次开发[19,37],或自主开发软件研究鱼类游泳行为[21]。

5 总结与展望

鱼类游泳行为属于动物行为学的范畴,与鱼类生态学、鱼类生理学和渔业学关系密切,其主要研究鱼类受外部刺激和内部刺激产生的游泳行为变化,包括游泳类型、游泳模式和游泳机理。多年来,人们围绕鱼类的游泳行为,以及内外部影响因素,采用多种监测方法,开展了大量研究工作,经常采用的方式是传统的观察法,这种方法具有易操作、形象化、实在化的优点,但观测者容易扰动鱼体目标,从而影响其自然游动,且一般只能在白天进行定性分析,难于进行定量比较,故只适于初步了解鱼类游泳行为特点,不适合精度要求高的游泳行为研究。近年来,鱼类游泳行为学在各种高新技术的支持下发展迅速,涌现出了多种前沿技术,如遥感遥测、卫星标志、光束监测、计算机视觉监测等。遥感遥测法采用超声波遥测技术研究鱼类游泳运动,具有试验针对性强、跟踪性好的特点,它是通过接收机跟踪鱼体内发射机发出超声波信号,来监测鱼体游泳参数,用于参数测定的传感器装于发射机内,受鱼体大小所限发射机内只能容纳少量传感器,这种方法对追踪鱼体的数量和规格有限制,同时对试验鱼有伤害,也会影响试验鱼的游泳行为,且仪器成本较高。可脱离卫星标志(Pop-up satellite archival tags)是一种用于跟踪较大个体鱼的浮标,方法是先把浮标固定在鱼体上,并随鱼的游动记录深度和位置,一段时间后浮标自动脱离鱼体,通过卫星发回数据,该方式主要限于大型鱼类,如金枪鱼,这种标志成本较高,每个几万元。光束监测是通过水下发射的光束,在鱼游动时受鱼体遮挡,引起光束中断与连接自动记录鱼类游泳速度及行为,光检测的准确度较高,但装置较复杂,不能区分鱼群的各目标。

计算机视觉技术在20世纪50年代归入模式识别,其主要集中在二维图像分析和识别上,到20世纪70年代出现了一些视觉应用系统,在80年代中期,计算机视觉获得了蓬勃发展,新概念、新方法、新理论不断涌现,计算机视觉技术在鱼类游泳行为监测中具有明显的技术优势,是实现基于鱼类个体或小群体监测的关键技术,基于计算机图像分析系统,可实现多个鱼体目标游泳行为参数的精确测定,利用多个摄像机可实现动物三维活动的监测。但由于受图像处理技术、硬件条件、机器视觉理论的限制,加上鱼类本身特点及其生活环境的复杂性,使得计算机视觉技术在鱼类游泳行为监测中还存在着一定的不足和局限。从鱼类活动环境来看,现在的监测一般是在实验室水箱中,水箱壁做了反光处理,并且借助辅助光,但在自然条件下比较复杂,光的折射与反射影响监测精度,水质条件影响图像清晰度,水的流动、波动、气泡等也会影响成像效果。从鱼体本身来看,各种鱼体大小不一、形状各异,游速差别较大,图像处理中要针对每个鱼种设计特定算法和模型,鱼类是变温动物,晚上通过红外拍摄效果较差,而超声波监测则会影响鱼的生长。从影像设备来看,水上摄像头受水的反光、镜像等光学现象影响大,水下摄像头受水流影响稳定性差,而水深的影响会出现离焦现象,导致图像不清晰。计算机视觉存在各种缺陷,因此,在进行鱼类游泳能力研究时,要针对鱼的种类、规格、生态习性和游泳方式等选择合适的试验条件和监测方法,以期准确地获取鱼的游泳行为参数。

随着计算机、电子、光学等技术的不断成熟与完善,计算机视觉技术不断发展,它不仅能完成模拟人眼的功能,还能完成人眼所不能胜任的工作,未来目标是非接触、客观化、自动化、高精度和持续不间断的监测,以实现精度、速度和工业现场环境下的可靠性,对于未来鱼体动态目标机器视觉监测将更多地投入到实效性、鲁棒性、实用性的研究中,有力地推动鱼类游泳行为研究,为更好地了解鱼类的行为生态习性、保护渔业资源和改良增养殖技术提供理论依据。

[1] Korel F,Luzuriaga D A,Balaban M O.Quality evaluation of raw and cooked catfish(Ictalurus punctatus)using electronic nose and machine vision[J].Journal of Aquatic Food Product Technology, 2001,10(1)：3-18.

[2] Luzuriaga D A,Balaban M O,Yeralan S.Analysis of visual quality attributes of white shrimp by machine vision[J].Journal of Food Science,1997,62(1)：113-118.

[3] 王丽娜,方景龙.基于视频理解的活体鱼水质监测实验[J].杭州电子科技大学学报,2010,30(6)：33-35.

[4] 程淑红,蔡菁,胡春海.基于视频算法的鱼类运动跟踪研究[J].光电工程,2011,38(2)：14-18.

[5] 于晓明,张秀梅.鱼类游泳能力测定方法的研究进展[J].南方水产科学,2011,7(4)：76-84.

[6] 江丹丹,桂福坤.基于视频图像的鱼类行为轨迹追踪[J].浙江海洋学院学报：自然科学版,2015,34(2)：112-118.

[7] 徐盼麟,韩军,童剑锋.基于单摄像机视频的鱼类三维自动跟踪方法初探[J].水产学报,2012,36(4)：623-628.

[8] 钟金鑫,张倩,李小荣,等.不同流速对鱇(鱼良)白鱼游泳行为的影响[J].生态学杂志,2013,32(3)：655-660.

[9] Gray J.Studies in animal locomotion III.The propulsive mechanism of the whiting(Gadus merlangus)[J].Journal of Experimental Biology,1933,10(4)：391-400.

[10] 张胜茂,郭全友.图像分析技术在水产品属性特征识别中的应用[J].渔业信息与战略,2013,28(1)：39-43.

[11] 宋波澜,张华.Cu离子浓度对杂交鲟幼鱼行为、血液指标和抗氧化酶的影响[J].大连海洋大学学报,2014,29(3)：241-245.

[12] 徐盼麟,韩军.基于视频的水箱内鱼类行为观测系统[J].湖南农业科学,2011(19)：140-142.

[13] 袁喜,涂志英,韩京成,等.流速对鲫鱼游泳行为和能量消耗影响的研究[J].水生态学杂志,2011,34(4)：103-109.

[14] 石小涛,王博,王雪,等.胭脂鱼早期发育过程中集群行为的形成[J].水产学报,2013,37(5)：705-710.

[15] 史慧勤,张利军,苑晓燕,等.氯化镉暴露对斑马鱼幼鱼神经行为毒性作用[J].生态毒理学报,2013,8(3)：374-380.

[16] 王卓,蒲韵竹,陈怡君,等.敌敌畏对斑马鱼运动行为的影响[J].国际药学研究杂志,2013,40(3)：327-330.

[17] 吴青怡,曾令清,曹振东,等.鲤科鱼类的流速选择及其与食性的关系[J].水产学报,2015,39(12)：1807-1816.

[18] 彭静,曾令清,曹振东,等.恒温和周期性变温对鳊幼鱼自发运动的影响[J].重庆师范大学学报：自然科学版,2016(3)：27-30.

[19] 卢焕达,刘鹰,范良忠.基于计算机视觉的鱼类行为自动监测系统设计与实现[J].渔业现代化,2011,38(1)：19-23.

[20] 徐建瑜,刘鹰.基于计算机视觉的罗非鱼适应环境的体色变化研究[J].水生生物学报,2009,33(2)：164-169.

[21] 范良忠,刘鹰,余心杰,等.基于计算机视觉技术的运动鱼检测算法[J].农业工程学报,2011,27(7)：226-230.

[22] Pereira P,Oliveira R F.A simple method using a single video camera to determine the three-dimensional position of a fish[J]. Behavior Research Methods,Instruments&Computers,1994,26 (4)：443-446.

[23] Viscido S V,Parrish J K,Grünbaum D.Individual behavior and emergent properties of fish schools：a comparison of observation and theory：emergent properties of complex marine systems：a macroecological perspective[J].Marine Ecology Progress Series,2004, 273：239-249.

[24] 吴冠豪,曾理江.用于自由游动鱼三维测量的视频跟踪方法[J].中国科学(G辑：物理学力学天文学),2007,36(6)：760-766.

[25] Drucker E G,Lauder G V.Locomotor forces on a swimming fish：three-dimensional vortex wake dynamics quantified using digital particle image velocimetry[J].Journal of Experimental Biology, 1999,202：2393-2412.

[26] Voesenek C J,Pieters R P,van Leeuwen J L.Automated reconstruction of three-dimensional fish motion,forces,and torques [J].PLoS One,2016,11(1)：e0146682.

[27] Santana-Garcon J,Newman S J,Harvey E S.Development and validation of a mid-water baited stereo-video technique for investigating pelagic fish assemblages[J].Journal of Experimental Marine Biology and Ecology,2014,452：82-90.

[28] Watson D L,Harvey E S,Anderson M J,et al.A comparison of temperate reef fish assemblages recorded by three underwater stereo-video techniques[J].Marine Biology,2005,148(2)：415-425.

[29] Bryan D R,Bosley K L,Hicks A C,et al.Quantitative video analysis of flatfish herding behavior and impact on effective area sweptof a survey trawl[J].Fisheries Research,2014,154：120-126.

[30] Kane A S,Salierno J D,Gipson G T,et al.A video-based movement analysis system to quantify behavioral stress responses of fish [J].Water Research,2004,38(18)：3993-4001.

[31] 郭春钊,汪增福.基于序列图像的鱼游运动机理分析[J].实验力学,2005,20(4)：525-531.

[32] 张融,郑宏远,李录,等.一种计量青鳉鱼胸鳍和尾鳍摆动频率和幅值的计算机视觉算法[J].生态毒理学报,2015,10 (4)：154-161.

[33] Lagarias J C,Reeds J A,Wright M H,et al.Convergence properties of the Nelder—Mead simplex method in low dimensions[J]. SIAM Journal on Optimization Archive,1998,9(1)：112-147.

[34] Rodriguez A,Ehlenberger D,Kelliher K,et al.Automated reconstruction of three-dimensional neuronal morphology from laser scanning microscopy images[J].Methods,2003,30(1)：94-105.

[35] van Leeuwen J L,Voesenek C J,Müller U K.How body torque and Strouhal number change with swimming speed and developmental stage in larval zebrafish[J].Journal of The Royal Society, Interface,2015,12：0479.

[36] Berdahl A,Torney C J,Ioannou C C,et al.Emergent sensing of complex environments by mobile animal groups[J].Science, 2013,339：574-576.

[37] 胡江龙,方景龙,王大全.多目标跟踪算法在水质监测中的应用[J].机电工程,2012,29(5)：613-615.

[38] 王勇.基于统计方法的运动目标检测与跟踪技术研究[D].武汉：华中科技大学,2009.

[39] Bojilov L,Alexiev K,Konstantinova P D.An accelerated IMM JPDA algorithm for tracking multiple manoeuvring targets in clutter [M]//Dimov I,Lirkov I,Margenov S,et al.Numerical Methods and Applications.Berlin Heidelberg：Springer,2003.

[40] 朱佩儒,刘烨,王硕鸿,等.基于学习的斑马鱼检测与跟踪[J].计算机应用与软件,2015,32(9)：227-230.

[41] Pérez-Escudero A,Vicente-Page J,Hinz R C,et al.idTracker：tracking individuals in a group by automatic identification of unmarked animals[J].Nature Methods,2014,11(7)：743-748.

[42] Gibb A,Jayne B,Lauder G.Kinematics of pectoral fin locomotion in the bluegill sunfish Lepomis macrochirus[J].Journal of Experimental Biology,1994,189(1)：133-161.

[43] Ferry L A,Lauder G V.Heterocercal tail function in leopard sharks：a three-dimensional kinematic analysis of two models [J].The Journal of Experimental Biology,1996,199(10)：2253-2268.

[44] Lauder G V,Anderson E J,Tangorra J,et al.Fish biorobotics：kinematics and hydrodynamics of self-propulsion[J].Journal of Experimental Biology,2007,210(16)：2767-2780.

[45] Stewart A M,Grieco F,Tegelenbosch R A J,et al.A novel 3D method of locomotor analysis in adult zebrafish：implications for automated detection of CNS drug-evoked phenotypes[J].Journal of Neuroscience Methods,2015,255：66-74.

[46] Bestman J E,Stackley K D,Rahn J J,et al.The cellular and molecular progression of mitochondrial dysfunction induced by 2,4-dinitrophenol in developing zebrafish embryos[J].Differentiation,2015,89(3-4)：51-69.

[47] Regan M D,Kuchel L J,Huang S S Y,et al.The effect of dietary fish oil and poultry fat replacement with canola oil on swimming performance and metabolic response to hypoxia in stream type spring chinook salmon parr[J].Aquaculture,2010,308(3-4)：183-189.

[48] 石小涛,胡运燊,王博,等.运用免费计算机软件SwisTrack分析鲢幼鱼游泳行为[J].水生生物学报,2014,38(3)：588-591.

Research progress on fish swimming behavior monitoring by computer vision technology

ZHANG Sheng-mao,ZHANG Heng,TANG Feng-hua,WU Zu-li,YAO Zong-li,FAN Wei
(Key Laboratory of East China Sea&Oceanic Fishery Resources Exploitation and Utilization,Ministry of Agriculture,East China Sea Fisheries Research Institute,Chinese Academy of Fishery Sciences,Shanghai 200090,China)

Currently,computer vision technology which simulates the principle of biological vision has been widely applied in study of fish swimming behavior via collection and processing dynamic target parameter information including pictures or videos.Research progress on fish swimming behavior monitoring by computer vision technology is summarized.Firstly,the fish target selection and image acquisition methods are introduced.Secondly the background removal and target detection are presented.Thirdly extraction method of swimming parameters for single fish target with direct extraction and fitting extraction is presented.The method of motion prediction and feature matching for multi fish object monitoring is described in detail.Then the swimming behavior monitoring parameters are classified,and relevant image processing software used commonly is introduced.Finally,the difficulties and future trends of computer vision monitoring are discussed.

computer vision;swimming behavior;target detection;fish tracking

S917

A

10.16535/j.cnki.dlhyxb.2017.04.019

2095-1388(2017)04-0493-08

2016-11-05

中央级公益性科研院所基本科研业务费专项(东海水产研究所2016T01);上海市自然科学基金资助项目(15ZR1450000);河口海岸学国家重点实验室开放基金资助项目(SKLEC-KF201403)

张胜茂(1976—),男,博士,副研究员。E-mail：ryshengmao@126.com

樊伟(1971—),男,博士,研究员。E-mail：dhyqzh@sh163.net