何东健　孟凡昌　赵凯旋　张　昭

(西北农林科技大学机械与电子工程学院， 陕西杨凌 712100)



基于视频分析的犊牛基本行为识别

何东健孟凡昌赵凯旋张昭

(西北农林科技大学机械与电子工程学院， 陕西杨凌 712100)

针对接触式获取动物行为信息的局限性，研究并提出基于视频分析的犊牛基本行为识别方法。首先对目标检测方法进行改进，提出基于最大连通区域的目标循环搜索环境建模、目标检测算法，以高效提取复杂自然环境下的犊牛目标；在提取犊牛的质心、轮廓等时序特征的基础上，采用基于结构相似的犊牛行为序列快速聚类算法，对犊牛基本行为进行识别。试验结果表明，环境建模、目标检测算法目标正负样本检测正确率分别达90.94%和98.98%，比背景相减法分别提高4.59和8.32个百分点；犊牛躺、站、走和跑跳的正确识别率分别为100%、96.17%、95.85%和97.26%，能快速对犊牛基本行为进行准确分类,为大型动物高级行为识别及理解奠定了基础。

犊牛； 行为识别； 视频分析； 结构相似； 行为序列

引言

随着人们生活水平的提高，不仅乳制品的需求日益增长，对品质的要求也越来越高，奶牛的饲养模式及健康状况也变得至关重要[1]。然而,养殖实践证明，死亡奶牛的50%～60%发生于犊牛阶段，特别是新生犊牛[2]。犊牛作为牛场的后备力量，其饲养管理的优劣，不但直接影响奶牛养殖场的整体经济效益，而且关系到奶牛场未来的发展。

奶牛的行为是体内生理活动的综合反映，因此若能检测出动物的行为，便可据此对奶牛生长状况进行诊断，行为检测是奶牛精准养殖的重要工作之一。然而传统的人工肉眼观测方法存在人工成本高、工作强度大、易疲劳、实时性差等问题。国内外学者致力于研究自动化检测动物行为的方法[3-7]。

但这些方法会损害动物福利，且佩戴在动物身上的传感器易受晃动、碰撞等因素产生噪声数据，影响动物行为检测的准确性。为解决上述问题，研究者开展了计算机视觉技术检测动物行为的研究[8-15]，以及对动物进行个体识别和追踪的研究[16-17]。

虽然在奶牛发情或躺卧行为检测上取得了一定成果，但这些研究主要针对某类行为的检测。此外，犊牛行为比母牛更加灵活，其行为检测相对困难。本文针对养殖环境，建立背景更新模型，并提出基于最大连通区域搜索的快速目标检测算法，最后采用基于结构相似度的行为序列快速聚类算法，以实现对犊牛躺卧、站立、行走和跑跳等基本行为的识别。

1　试验材料

1.1供试视频

试验视频在陕西杨凌科元克隆股份有限公司的规模奶牛养殖场采集，拍摄对象为2个月内的新生美国荷斯坦犊牛，犊牛单独饲养于2 m×4 m矩形栅状围栏内。DS-2CD4012型摄像机(海康威视公司生产)的传感器正对于矩形栅栏的长边，水平高度保持在栅栏高度的一半位置，确保视野可以采集到犊牛的大范围侧视活动区域。

供试视频于2013年7月每天07：00至18：00在自然光照条件采集，共采集栅栏侧面犊牛躺卧、站立、行走、跑跳等视频片段520段，每段视频长约16 min，剔除犊牛卧于牛棚内、下雨天、跑出栅栏等无效片段，筛选出有效视频片段162段。采集视频以PAL制式保存在摄像机内，帧率、码率为25帧/s、2 000 kb/s，分辨率为704像素(水平)×576像素(垂直)。在有效视频片段中，通过人工观察方式截取各行为类别片段15个作为后续特征筛选的测试视频(图1)。

图1　犊牛牛栏及其基本行为分类图Fig.1　Pictures of calf stall and basic behaviors

1.2试验环境

后续视频处理平台处理器为Intel(R) Core(TM) i5-2400，主频3.1 GHz，内存4 GB，硬盘500 GB，Windows7-64位操作系统，算法开发平台为Matlab 2011b。

2　犊牛目标检测与特征提取

2.1犊牛目标检测与背景建模

背景建模与目标检测是犊牛行为识别的基础。常用帧差法[18-19]、背景相减法[20-21]、光流法[22-23]及一些改进算法[24-26]。ZHAO等[18]提出一种基于帧差法并调整RGB通道系数的奶牛移动目标检测算法，检测正确率比背景相减法提高了25.49个百分点，但该算法受限于全身移动目标，由于犊牛活动区域和运动幅度小，因此该算法不适于犊牛目标检测，针对这一问题，本文首先提取最大连通区域，再逐步循环搜索出整体目标，进而更新背景模型，实现犊牛目标的快速准确检测，具体流程如图2所示，算法步骤如下：

(1)背景初始化，读入视频帧、中值滤波预处理，背景差分运算。

(2)对差分图像进行Gamma变换，其计算式为

y=(x+eesp)γ

(1)

式中x、y——输入、输出视频帧，x、y取值范围分别设为[0.1,1.0]和[0,1.0]

eesp——补偿系数γ——伽马系数

经预备试验，参数γ取值为0.3，eesp取值为0。

图像分割算法采用OTSU最大类间方差法[27]，鉴于牛栏遮挡及牛体轮廓，选取半径为4像素的“disk”结构元素进行开闭运算，并对连通区域内部小于3 500像素的孔洞进行填充。

图2　犊牛目标检测流程图Fig.2　Flow chart of calf detection

(3)对图像统计分析，提取连通分量，并寻找最大连通区域，当最大连通区域的面积和质心特征满足式(2)则进入步骤(4)，否则直接进入步骤(5)。

(2)

式中Ω——最大连通区域面积

Θ——目标面积阈值

α、β——最大连通区质心坐标

HVer、LVer——质心竖直方向上、下限

LHor、RHor——质心水平方向左、右限

根据实际试验环境设定参数值为：Θ=2 000，LVer=50，HVer=250，LHor=30，RHor=600。

(4)根据提取的最大连通区域，边界重叠区搜索条件为

(3)

边界外部区搜索条件为

(4)

式中T——搜索连通区面积阈值

Aj——搜索的第j个连通区的边界

LBoundary——当前目标区域左边界

RBoundary——当前目标区域右边界

TBoundary——当前目标区域上边界

DBoundary——当前目标区域下边界

LAj、RAj、TAj、DAj——左、右、上、下边界

DDist——Aj与当前目标边界有效距离

从而搜索出犊牛整体目标。

图3为循环搜索示意图，带白色圆点的连通区为最大连通区域，蓝色实线为连通域外接矩形，粉色虚线为边界重叠区循环搜索后的新边界；绿色点划线为边界外部循环搜索后得到的最终整体目标外接矩。

图3　边界循环搜索示意图Fig.3　Diagram of searching boundary regions

(5)用图4更新模型对背景进行实时更新。根据前述步骤检测出如图4b的目标区域，提取出犊牛的目标区域以外的部分(如图4c)作为新的背景帧的一部分，从图4d所示的背景集中计算出当前背景均值如图4e,将其中目标对应部分背景数据进行剪裁得图4f，图4c与图4f进行组合得到图4g所示的最新背景模型，最后将该模型加入到图4d所示的背景集中，并更新背景集。该算法不仅计算量小，且抗干扰性强，适于实时视频检测。

图4　背景更新模型示意图Fig.4　Model of background updating

2.2犊牛目标的特征提取

特征提取对犊牛后续基本行为的识别起着至关重要的作用。在站立、行走、跑、跳跃等基本行为中，质心可有效反映犊牛的大体位置及运动轨迹，质心方差表征了犊牛的运动强度，轮廓特征反映了犊牛身体姿态变化，故提取质心(XCen，YCen)、宽(W)、高(H)3个基本特征，在此基础上计算出质心轨迹方差特征(XVar，YVar)、轮廓宽高比(RWH)。

为比较特征在不同类别的行为序列中的分布情况，从各类行为视频片段中选择序列各15段。计算各视频片段中每帧图像的特征值。为使特征曲线具有可比性，以最短视频的帧数为阈值，对特征曲线进行截取，使其长度相等。对同一行为的15段特征曲线进行均值化，然后取每3帧的中值绘制特征值变化曲线。RWH为轮廓宽高比，为了突出轮廓宽高比例关系，当宽大于高时，RWH为正，当宽小于高时，RWH取为负值，且数值为高除以宽。如图5所示，XCen、YCen、RWH、XVar和YVar在不同的行为间具有不同的分布特性，因此这些特征具有识别犊牛行为的潜力。

图5　特征试验结果Fig.5　Experiment results of characteristics

3　基本行为的快速识别方法

借鉴袁冠等[28]基于结构相似度(Structural similarity, SSIM)进行轨迹聚类的思想，本文计算犊牛行为序列的结构相似度以快速识别犊牛基本行为。

3.1行为序列结构及相似度计算公式

序列划分决定了行为子序列结构相似度匹配的准确程度，由图5知，特征YCen、XCen的变化最大程度地反映了行为状态的变化，故以向量YVar、XVar作为动态划分犊牛行为序列的临界向量。

行为序列结构是行为特征内部属性的集合，在进行行为序列分析时，充分考虑这些特征可增强准确度和分类效果，本文以上述5个特征作为犊牛行为序列结构。

SSIM体现了序列在结构上的相似度，因此SSIM越大，即距离越小表示序列越相似，反之则不相似。其计算式为

SDIST(SJ,SK)=WCCenterDist+

WRRatioDist+WVVarDist

(5)

SSIM(SJ，SK)=1-Normalized(SDIST(SJ，SK))

(6)

CenterDist(SJ,SK)=

(7)

RatioDist(SJ,SK)=

(Rmax(SJ,SK)+Ravg(SJ,SK)+Rmin(SJ,SK))/3

(8)

VarDist(SJ,SK)=|Ravg(SJ)-Ravg(SK)|

(9)

其中

Rmax(SJ,SK)=|Rmax(SJ)-Rmax(SK)|

式中SDIST(SJ,SK)——序列间的结构距离，为各特征比较结果的加权值

CenterDist(SJ，SK)——位置比较函数

RatioDist(SJ，SK)——宽高比比较函数

VarDist(SJ，SK)——质心轨迹方差比较函数

SSIM(SJ,SK)——结构相似度

SJ、SK——行为特征子序列

WC、WR、WV——3个特征的权重因子，其和为1，通过权重可调整犊牛行为序列结构特征的敏感程度

Cxavg(SJ,SK)——序列SJ、SK质心水平方向坐标均值之差

Cyavg(SJ,SK)——序列SJ、SK质心竖直方向坐标均值之差

ωx、ωy——水平和垂直方向的权重系数

Rmax(SJ,SK)——反映序列间最大宽高比的差异

Ravg(SJ,SK)、Rmin(SJ,SK)——反映序列间平均、最小宽高比的差异

Normalized(·)——归一化函数

3.2犊牛基本行为的快速识别

基于结构相似度的犊牛行为序列快速聚类算法识别犊牛行为主要分为4步：①用临界向量值对犊牛行为视频进行动态划分。②确定行为特征子序列的结构。③根据结构相似度比较不同的子序列，采用基于密度的动态阈值实现行为序列的快速聚类[28]。④以测试视频帧前连续20帧作为犊牛当前行为状态的行为序列，构建序列结构，计算出该序列与各聚类中心的结构相似度，SSIM最大值所在的行为类即为犊牛的基本行为，从而实现对犊牛基本行为的识别。

4　试验与结果分析

4.1目标检测试验结果与分析

截取包含躺、站、走、跑、跳行为序列的视频片段各15段，共计75段(62 250帧)，分别采用帧差分法、混合高斯模型(GMM)、传统背景相减法和本文算法进行试验，每种行为类别的4种算法试验结果各选取一帧如图6所示，由上至下依次为躺、站、行走、跑和跳，图6a为视频帧灰度图像；图6b为人工标记的理想结果；由图6c、6d可知，三帧差分法和混合高斯模型(GMM)虽然抗噪性强，但检测效果依赖于目标的运动状态，当目标由静止状态转为运动时，GMM算法反而增加了噪声；由图6e可知，背景减除法检测出更多目标的同时，噪声也随之增多。由图6f可知，本文算法可以检测出各类行为状态的大部分目标区域。

图6　不同方法目标检测结果Fig.6　Result of object detection using different methods

表1给出了像素级分析结果，TP与FP表示将正样本判断正确与错误的比例，TN与FN表示将负样本判断正确与错误的比例。三帧差分法虽然抗噪声干扰强，但平均TP为10.77%，无法检测静态及动作缓慢的目标；混合高斯模型(GMM)虽然目标检测率有所提升，TP为32.92%，但仍然无法检测动作幅度小的目标；传统的背景减除法TP达到86.35%，能检测出大部分目标区域，但由于适应性差，噪声也随之增多，且FP达到9.34%，导致分割难度加大；本文算法平均TP为90.94%，可以检测出大部分目标区域，适用于犊牛各类行为的目标检测，且FP为1.02%，具有较高的自适应性。

表1　定量分析结果Tab.1　Results of quantitative analysis　%

4.2犊牛行为识别试验

对122段犊牛视频用特征空间快速聚类进行基本行为识别试验，结果如图7所示。

图7　犊牛行为聚类结果Fig.7　Result of clustering of calf behaviors

为检验本文方法识别犊牛基本行为的正确率，选取60个视频片段以正常速度播放，人工观测犊牛行为，并对犊牛不同行为类别对应的视频帧进行人工标记。识别正确率如表2所示。

表2中行表示人工标记的行为类别，列表示被识别为该类别的百分比。由表2可知，躺卧行为与其它行为差异明显，故可以100%识别，行走识别率最低为95.85%，平均正确识别率为97.32%。导致站立与行走、行走与跑跳之间误识别的原因是由于犊牛行为的连贯性，其界限并不完全明显，如犊牛的转身、肢体小幅度移动等被识别为行走，犊牛慢跑与行走过渡的序列容易导致结果有微小偏差。

表2　犊牛基本行为识别结果Tab.2　Result of calf behaviors recognition　%

5　结论

(1)针对犊牛养殖环境，提出一种基于最大连通区域目标循环搜索的背景建模、目标检测算法，该算法目标正负样本检测正确率达90.94%和98.98%，比背景减除法分别提高4.59和8.32个百分点，且计算量小、抗干扰强，适于犊牛各类行为的检测。

(2)采用基于相似结构的犊牛行为序列快速聚类算法，可综合内部与整体特征对犊牛行为进行分类、识别，识别准确率平均达97.32%。

(3)本文目标检测以最大连通区域的外接矩形进行循环搜索，矩形内部未去除的噪声会影响搜索效率。

1李晓香, 杨改青, 王林枫, 等. 不同饲养模式对奶牛健康状况和牛奶品质的影响[J]. 中国奶牛, 2013(17):34-38.

LI Xiaoxiang, YANG Gaiqing, WANG Linfeng,et al. Effect of different feeding forms on milk performance and healthy status in dairy cows[J]. Feed & Feeding, 2013(17):34-38. (in Chinese)

2赵学文. 新生犊牛常发病的防控措施[J]. 山东畜牧兽医, 2014(2):52-53.

3闫丽, 沈明霞, 谢秋菊, 等. 哺乳母猪高危动作识别方法研究[J]. 农业机械学报, 2016,47(1):266-272.

YAN Li, SHEN Mingxia, XIE Qiuju, et al.Research on recognition method of lactating sows’ dangerous body movement[J].Transactions of the Chinese Society for Agricultural Machinery, 2016,47(1):266-272. (in Chinese)

4刘龙申, 沈明霞, 姚文, 等. 基于加速度传感器的母猪产前行为特征采集与分析[J]. 农业机械学报, 2013,44(3):192-196.

LIU Longshen, SHEN Mingxia, YAO Wen, et al. Acquisition and analysis of sows’behavior before farrowing based on acceleration sensor[J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(3):192-196,191. (in Chinese)

5CORNOU C, LUNDBYE-Christensen S, KRISTENSEN A R. Modelling and monitoring sows’ activity types in farrowing house using acceleration data[J]. Computers and Electronics in Agriculture, 2011,76(2):316-324.

6田富洋, 王冉冉, 刘莫尘, 等. 基于神经网络的奶牛发情行为辨识与预测研究[J]. 农业机械学报, 2013,44(增刊):277-281.

TIAN Fuyang,WANG Ranran,LIU Mochen, et al. Oestrus detection and prediction in dairy cows based on neural networks[J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(Supp.):277-281. (in Chinese)

7尹令, 洪添胜, 刘汉兴, 等. 结构相似子序列快速聚类算法及其在奶牛发情检测中的应用[J]. 农业工程学报, 2012,28(15):107-112.

YIN Ling, HONG Tiansheng, LIU Hanxing, et al. Subsequence clustering algorithm based on structural similarity and its application in cow estrus detection[J].Transactions of the CSAE,2012,28(15):107-112. (in Chinese)

8TSAI D, HUANG C. A motion and image analysis method for automatic detection of estrus and mating behavior in cattle[J]. Computers and Electronics in Agriculture, 2014,104:25-31.

9温长吉, 王生生, 赵昕, 等. 基于视觉词典法的母牛产前行为识别[J]. 农业机械学报, 2014,45(1):266-274.

WEN Changji,WANG Shengsheng,ZHAO Xin, et al. Visual dictionary for cows sow behavior recognition[J].Transactions of the Chinese Society for Agricultural Machinery,2014,45(1):266-274. (in Chinese)

10PORTO S M C, ARCIDIACONO C, ANGUZZA U, et al. A computer vision-based system for the automatic detection of lying behaviour of dairy cows in free-stall barns[J]. Biosystems Engineering, 2013,115(2):184-194.

11VIAZZI S, BAHR C, VAN HERTEM T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers and Electronics in Agriculture, 2014,100:139-147.

12赵凯旋, 何东健, 王恩泽. 基于视频分析的奶牛呼吸频率与异常检测[J]. 农业机械学报, 2014,45(10):258-263.

ZHAO Kaixuan,HE Dongjian,WANG Enze.Detection of breathing rate and abnormity of dairy cattle based on video analysis[J].Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):258-263. (in Chinese)

13纪滨, 朱伟兴, 刘波, 等. 基于脊腹线波动的猪呼吸急促症状视频分析[J]. 农业工程学报, 2011,27(1):191-195.

JI Bin, ZHU Weixing, LIU Bo, et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomen[J].Transactions of the CSAE,2011,27(1):191-195. (in Chinese)

14刘龙申, 沈明霞, 柏广宇, 等. 基于机器视觉的母猪分娩检测方法研究[J]. 农业机械学报, 2014,45(3):237-242.

LIU Longshen, SHEN Mingxia, BO Guangyu, et al. Sows parturition detection method based on machine vision[J].Transactions of the Chinese Society for Agricultural Machinery,2014,45(3):237-242. (in Chinese)

15何东健，刘冬，赵凯旋.精准畜牧业中动物信息智能感知与行为检测研究进展[J]. 农业机械学报，2016,47(5):231-244.

He Dongjian,Liu Dong,Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(5):231-244. (in Chinese)

16赵凯旋, 何东健. 基于卷积神经网络的奶牛个体身份识别方法[J]. 农业工程学报, 2015,31(5):181-187.

ZHAO Kaixuan, HE Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J].Transactions of the CSAE,2015,31(5):181-187. (in Chinese)

17DUAN Yuyao, MA Li， LIU Gang. Remote monitoring system of pig motion behavior and piggery environment based on Internet of Things[J].Transactions of the CSAE,2015,31(Supp.2):216-221.

18ZHAO K X, HE D J. Target detection method for moving cows based on background subtraction[J]. International Journal of Agricultural and Biological Engineering, 2015,8(1):42-49.

19ZHANG L P, SHAO Z K, WU J D, et al. A moving object detection method based on improved three-frame difference algorithm and edge information[M]∥International Conference on Advances in Mechanical Engineering and Industrial Informatics, 2015:279-284.

20YIN X Q, WANG B, LI W L, et al. Background subtraction for moving cameras based on trajectory-controlled segmentation and label inference[J]. Ksii Transactions on Internet and Information Systems, 2015,9(10):4092-4107.

21CHENG F C, CHEN B H, HUANG S C. A hybrid background subtraction method with background and foreground candidates detection[J]. Acm Transactions on Intelligent Systems and Technology, 2015,7(1):doi>10.1145/2746409.

22TSAI D M, CHIU W Y, LEE M H. Optical flow-motion history image (OF-MHI) for action recognition[J]. Signal Image and Video Processing, 2015,9(8):1897-1906.

23CHOI I H, PAK J M, AHN C K, et al. Arbitration algorithm of FIR filter and optical flow based on ANFIS for visual object tracking[J]. Measurement, 2015,75:338-353.

24孙天宇, 孙炜, 薛敏. OPTICS聚类与目标区域概率模型的多运动目标跟踪[J]. 中国图象图形学报, 2015, 20(11):1492-1499.

SUN Tianyu,SUN Wei,XUE Min. Tracking multiple moving objects based on OPTICS and object probability model[J]. Journal of Image and Graphics, 2015, 20(11):1492-1499. (in Chinese)

25CONTILLO A, DI DOMENICO G, CARDARELLI P, et al. A novel approach to background subtraction in contrast-enhanced dual-energy digital mammography with commercially available mammography devices: polychromaticity correction[J]. Medical Physics, 2015,42(11):6641-6650.

26黄应清, 赵哲, 闫兴鹏, 等. 改进帧差与分水岭算法融合的运动目标检测法[J]. 激光与红外, 2014, 44(12):1369-1373.

HUANG Yingqing, ZHAO Zhe,YAN Xingpeng, et al. Moving target detection based on improved frame difference and watershed algorithm[J]. Laser & Infrared, 2014, 44(12):1369-1373. (in Chinese)

27何东健. 数字图像处理(第三版)[M]. 西安: 西安电子科技大学出版社, 2015.

28袁冠, 夏士雄, 张磊, 等. 基于结构相似度的轨迹聚类算法[J]. 通信学报, 2011, 32(9):103-110.

YUAN Guan, XIA Shixiong, ZHANG Lei, et al. Trajectory clustering algorithm based on structural similarity[J].Journal on Communications, 2011, 32(9):103-110. (in Chinese)

Recognition of Calf Basic Behaviors Based on Video Analysis

He DongjianMeng FanchangZhao KaixuanZhang Zhao

(CollegeofMechanicalandElectronicEngineering,NorthwestA&FUniversity,Yangling,Shaanxi712100,China)

Daily behaviors are the important indicators of health status for calves. The suitability of using behavioural changes to provide an early indication of calf’s disease was studied. The possibility of achieving a real-time analysis of a number of specific changes in behaviours, such as lying, standing, walking, running, and jumping, is crucial for disease prevention. Considering the limitation for sensing animal behavior by contacting device and in order to improve the welfare of calves, a method based on video analysis was studied and applied to recognize calf basic behaviors. Firstly, a looping algorithm based on maximum connected region was proposed for fast detection of calf target under complex environment. Secondly, a real-time model was built to renew the background and detect the calf’s target quickly and accurately. Thirdly, the position of the centroid, the ratio of the height and width of the target outline, and differences of the centroid moving curve were extracted as the features of behaviors. These features could be the characterizations of the internal properties of behaviors constituted the sequence structure of calf behaviors. Finally, a classifier based on structure similarity of behavior features was designed to recognize basic behaviors of the calf. By testing 162 videos, the results demonstrated that the recognition rate of lying, standing, walking and run-jump were 100%, 96.17%, 95.85% and 97.26%, respectively. On the basis of these research outcomes, the proposed method is feasible for computing calf behavioural indices and the real-time detection of behavioural changes, and also lays a foundation for recognizing and understanding senior behaviors of large animal.

calf; behavior recognition; video analysis； structure similarity; behavior sequence

10.6041/j.issn.1000-1298.2016.09.040

2016-03-18

2016-04-18

国家自然科学基金面上项目(61473235)

何东健(1957—)，男，教授，主要从事生物图像分析与识别、智能化检测与控制研究，E-mail： hdj168@nwsuaf.edu.cn

TP391.41; S823.9+1

A

1000-1298(2016)09-0294-07