张 靓，李铁军，宗银雪

(河北工业大学机器人研究所，天津 300130)



融合视听信息的机电设备状态监测系统设计

张 靓，李铁军，宗银雪

(河北工业大学机器人研究所，天津 300130)

围绕机电设备状态监测的需求，设计了基于视听信息融合的状态监测系统。分别利用图像可听化技术、数据归一化和主成分分析得到了较低维数的同质特征数据。以BP神经网络为融合模型，对所得特征数据进行识别与融合，进而得到对机电设备运行状态的决策输出。实验结果表明，在外界噪声环境下，融合视听信息的状态监测系统能维持较高的正确识别率，同时以神经网络为融合模型保证了系统的稳定性和鲁棒性。

状态监测；信息融合；图像可听化；主成分分析；神经网络

0 引言

机电系统的状态监测与故障诊断技术一直以来是研究人员关心的热点领域。应用状态监测与故障诊断技术能有效地发现机电系统中的事故隐患，及时排除设备故障，预防恶性事故，避免人身伤亡、环境污染及由此带来的巨大经济损失[1]，因而有效的状态监测与合理的故障诊断是保证机电系统安全运行和实现科学维护的关键技术之一[2]。

现有的机电系统状态监测方法多是通过内部传感的局部监测，故障诊断方法亦是基于内部传感信息与控制逻辑进行的专家式推理。例如采用油液分析、声发射分析、震动信号分析等技术，建立了以齿轮、轴承、发动机、发电机为对象的各种旋转、往复机械监测与故障诊断系统，提出了观测器/滤波器方法、参数估计方法、解析冗余方法、证据理论方法、模式识别方法等[3]。然而随着技术的发展，现有的大型复杂机电设备具有不同于一般小型系统的复杂性、开放性、耦合性等特点，传统的状态监测系统逐渐暴露出结构离散、数据量大、集成度低等缺点。近年来也出现了基于机器视觉的监测方法，但是单以视觉传感作为设备状态信息获取的媒介亦存在诸多问题，其主要表现为当外部环境条件缺失时，如光源受限、目标重叠等，系统决策水平会大幅度下降。而利用声音的衍射特点，将听觉信息对视觉信息进行补偿可以在很大程度上解决上述问题。本文设计了一种融合视听信息的状态监测系统，以对机电设备运行状态进行实时有效的智能监测。

1 视听特征处理方法

在视听信息融合之前，需要分别对视觉信息和听觉信息进行增强预处理，主要目的是对采集到的信号进行滤波以去除噪声与冗余特征，系统中除了常规的对视听信号进行增强处理及预处理方法之外，如图像的二值化、灰度处理，音频信号的分帧、加窗等，还将视觉图像信息进行了可听化处理，并将视听数据做了归一化处理和主成分分析。

1.1 视觉图像的可听化处理

由于视觉信息与听觉信息属于不同质的信息，二者之间具有不同物理属性，信息维度也不相同：声音在时域上属于一维信息，而视觉图像属于二维信息。因此视听信息融合属于异类传感信息融合，在融合前需要将这两种形式的信息进行转换。将视觉信息与听觉信息进行同一化转换，使二者能在相同环境下被统一处理，通常采取3种方式：(1)将视觉图像转换成声音信息，如voice助盲系统和paint2sound混音软件[4]等；(2)将声波信息转换为图像信息，如声成像技术和B行超声波技术等；(3)用第三种信息来表征这两种不同的信息。

本文采用第一种方式，将视觉图像信息转换为声音信息。该转换方法的过程可大致作如下描述：选择图像的像素值和像素值所在的位置信息作为图像映射特征，选择声音的振幅和频率作为声音的维度。图像与声音的映射关系为[5]

(1)

式中:si表示图像第i行的声音模式;gi,j表示图像的像素值;fj是第j列的像素点的频率;t决定了声音的播放时间。

fj=像素频率/采样频率

(2)

si,j=gi,jsin2πfjti=1,2,…,n,j=1,2…，n

(3)

由于人耳所能听见的声音和机电系统的故障诊断中常见的声音信息均集中在某一频域范围，故在将图片信息转换为声音的频率参数时应尽量避开上述的频段，选用空闲频段，以避免由图像信息转化得到的声音信息与由麦克风采集到的声波信息互相干扰。

1.2 视听信息的归一化与主成分分析

前述步骤将视听信息转化为两种数据形式：幅值范围为0～255的灰度值数据和声音的频域分析幅值，将两种数据统一还需采用线性函数转换进行归一化处理。

线性转换函数：

归一后值=(归一前值-MinV)/(MaxV-MinV)

(4)

式中MaxV、MinV分别为样本的最大值和最小值。

归一化就是将不同尺度上的评判结果统一到1个尺度上以方便比较和运算。将各个特征自身的数据特性通过数学的方法抹掉，让各个特征值获得相同的竞争能力，从而可以使用一些更通用性的解决方法，将视野重点从局部数据解放出来，还能避免在两种数据叠加之前的权值选取问题。

经过归一化的信息数据仍具有较高的维度，而高维度的测量空间不能有效的反映测量对象的本质且难以进行分类和识别。为了方便计算和设计分类器并提出识别方法，需要把声音信息和图片信息从测量空间变换到维数大幅降低的特征空间。

鉴于主成分分析算法是将方差的大小作为衡量信息量多少的标准，能在损失很小的信息的前提下把多个指标转化为几个综合指标的一种多元统计方法，它计算方便且具有最优线性误差，可以较好的揭示具有线性结构的高维数据集在全局中的分布[6]。故采用主成分分析法作为特征提取的主要算法。该算法具体步骤如下：

(1)假设训练集有200个样本，由上文中几个步骤得出的数据组成，每个样本大小为N，其中向量xi为由第i个样本的N维列向量。

(2)计算平均向量

(5)

(3)计算每一个数据向量与平均数据向量的差值

di=xi-Ψ(i=1,2,…,200)

(6)

(4)构建协方差矩阵

(7)

式中A=(d1,d2,…,d200)。

(5)求协方差矩阵的特征值和特征向量，构造特征空间。

协方差矩阵的维数为N*N，考虑其维数较大，计算繁琐，故采用奇异值分解(SingularValue Decomposition ,SVD)定理获得ATA的特征值和特征向量。根据特征值的贡献率选取前p个最大特征向量及其对应的特征向量，贡献率是指选取特征值的和与所有特征值的和之比，即：

(8)

一般取a>99%即使训练样本在前p个特征向量集上的投影有99%的能量。

求出原协方差矩阵的特征向量

(9)

则融合数据的特征空间为

w=(u1,u2,…,up)

(10)

(6)将每一幅融合前的向量与平均向量的差值向量矢量投影到特征向量空间，即

Ωi=wTdi(i=1,2,…,200)

(11)

通过上述过程即可完成两种信息并联之后的降维操作，同时提取了感兴趣的信号特征，在该过程中，由计算得到了每一个数据向量与平均数据向量的差值，即滤掉了大部分背景噪声。

1.3 基于BP神经网络的分类器设计

通常情况下，含有一个隐含层的神经网络模型可以完成从任意m维空间到n维空间的非线性映射，设计中采用三层结构的前馈BP网络。

隐含层结点数目的选择并没有统一的公式来表示，具体节点数目的确定与实际问题的要求和环境以及输入输出单元数量相关。需要注意的是，隐含层节点数目过多会影响收敛速度，使收敛时间延长；隐含层节点数目太少则会影响精度，降低控制性能。本文中神经网络的隐含层结点个数计算经验公式[7]为

n1=(m+n)1/2+α

式中:m为输入层神经元数目;n为输出层神经元数目;α为1～10之间的常数，通常值为1。

经计算单语音系统的隐含层结点数目为25，视听语音识别系统的隐含层节点数目为38。

通常经过训练完成的神经网络一般都要进行性能测试，即选择测试样本向量并提供给网络，检验网络对其分类的正确性。样本向量中要包含网络应用中可能遇到的典型模式。

需要注意的是在降维阶段中计算差值向量这一步骤，需要用新的数据减去用于训练的样本平均值来进行运算，并且跳过建立协方差矩阵等步骤，直接用训练阶段得出的转换矩阵将差值向量投影到特征空间，即：

ΩΓ=wT(Γ-Ψ)

(12)

式中：ΩГ为待识别的数据在特征空间的投影向量;wT为投影矩阵；Г为待识别的数据向量；Ψ为训练样本均值。

再将得到的待测数据投影向量用神经网络进行识别，得出识别状态向量。这些样本可以通过直接测取得到，也可以通过仿真得到，在样本数据较少或者较难得到时，也可以通过学习样本加上适当的噪声或者按照一定的规则差值得到。

2 系统软件设计

系统在硬件上引入了上位机与视听信息采集单元，即CMOS摄像机、贴片式拾音器与数据采集卡。软件采用了Labview与Matlab联调的方式，对视听信息进行采集处理及融合运算。系统软件的功能性模块则按照视、听信息流向划分，主要包括视觉信息可听化处理、PCA降维与融合及神经网络识别等模块，其对设备状态的检测程序流程如图1所示。

图1 对设备状态的检测程序流程

图2 Labview功能性事件结构的程序设计

图3 人机交互界面设计

具体程序地编写也是按照上述事件的流程进行，可将每个方框均看成一个功能性事件，而箭头则代表数据流向[8]，在核心事件中，具体算法则通过调用Matlab函数的形式来实现。图2为部分Labview功能性事件结构，图3为软件人机交互界面。

3 实验及验证

2014年8月在北京矿冶研究总院对所述方法进行了测试。检测对象为锰料装箱机械手，其结构如图4所示。该平台机械手的位置由x轴和z轴气缸运动的合成，气动手爪完成锰剂的夹取和放置动作。实验旨在对机械手搬运锰剂过程功能性动作的核心动作流程进行监测。

由于实验针对机械手搬运锰剂的过程功能性动作的核心动作流程进行监测，而其核心动作主要是分拣机械手完成气动手爪抓取锰剂、Z轴电动缸上升、X轴电动缸左移、Z轴电动缸下降和气动手爪放开锰剂这一系列的周期性运动，由于这一系列的动作中，动作切换的位置动作比较复杂，也是最容易发生失稳状况，从而导致在这些点位上容易出现异常响声，故选取机械手在其运动周期的动作切换位置的进行状态监测。为此，实验设计了4个关点位监测点，如图5所示，X1Z2为机械手抓取工件位置，X1Z1为机械手零位，X2Z1为机械手在运送工件的转折位置，X2Z2为机械手运送工件的目标位置。实验监测关键点为4个，以8个状态进行描述，按照二进制编码的方式，对这8种状态进行编码结果表1所示。

图4 锰剂分拣机械手的机械结构图

图5

工业现场的电磁环境非常复杂，不可避免地存在多种形式的高频噪声以及谐波干扰。这些干扰都具有较强的随机性和不确定性，难以在现实中获得定量的干扰信息，故采用软件仿真的办法进行试验，即在视觉信息和听觉信息归一化处理之后叠加均值为0，方差为0.2的高斯噪声。

表1 状态信息编码表

针对下列四种情况，共进行了60次实验：

(1)在无噪声环境下进行单视觉模态的状态监测；

(2)在无噪声环境下进行融合视听信息的状态监测；

(3)视觉噪声条件下进行单视觉模态的状态监测；

(4)视觉噪声条件下进行融合视听信息的状态监测。

对机械手状态识别的正确率如表2所示。

表2 识别结果

实验结果表明，工业现场环境下，由于噪声干扰，基于单视觉传感的状态监测识别率仅为53.9%，无法满足对设备运行状态的监测要求。而利用设备异常运行状态下发出的异常声响，基于图像可听化技术融合视听信息，能够使状态监测系统在噪声环境下的正确识别率稳定维持在87.6%以上。

4 结束语

通过视觉信息的可听化、视听特征数据的归一化和主成分分析，可将视觉信息和听觉信息转换为低维数的同质信息特征，并将其送入BP神经网络进行信息融合，进而给出对机电设备运行状态识别的决策输出。基于上述方法设计的状态监测系统，在工业现场杂波环境下能有效对机电设备运行状态进行实时的智能监测，且集成度高、具有较高的稳定性和鲁棒性，同时为机电设备的故障诊断提供了数据基础。

[1] 张建明,徐小力.面向机电系统状态监测与故障诊断的现代技术.北京理工大学学报,2004,24(9):751-756.

[2] 黄昭毅.设备诊断现场实用技术丛书.北京:机械工业出版社,2002.

[3] 温熙森,秦国军.大型复杂机电设备监测诊断体系结构研究.中国机械工程,1997,8(2):99-103.

[4] Mitchell E.Tyler.Seeing with the Brain,International Journal of Human-Computer Interraction.2003,15(2):285-295.

[5] 赵丽娜,周群,刘铁军,等.视觉听觉同时刺激模式下ERP的同步性研究.临床神经电生理学杂志,2005,14(1):4-6.

[6] 聂旻.视觉与听觉跨模态转换的认知和应用研究:[学位论文].上海:上海交通大学,2010.

[7] 田亚男,雷红玮,王旭,等.基于SVM图像分割方法的自动导盲系统.东北大学学报(自然科学版),2010,31(12):1681-1684.

[8] 杨正才,张庆永.基于LabVIEW的汽车发动机振动测试系统.仪表技术与传感器,2012(1):21-23.

Electromechanical Equipment Condition Monitoring System Based on Audio-visual Information Fusion

ZHANG Liang，LI Tie-jun，ZONG Yin-xue

(Hebei University of Technology，Institute of Robotics，Tianjin 300130，China)

Focused on the demand of mechatronical device status monitoring, a surveiliance system based on audio-visual information fusion was designed. The characteristic data with the same type and low dimensionality was obtained through the methods of image auralization, data normalization and principal component analysis. Based on BP neural network model, the charateristic data was recognised and fused, and the decisions of monitering of electromechanical device were obtain. The experimental results show that the correct recognition rate of monitoring based on audio-visual fusion is maintained at a high level under noisy environment, meanwhile the stability and the robustness of the system was guaranteed by the neural network model.

statu monitoring; information fusion; image auralization; principal component analysis; neural network

国家自然科学基金资助项目(51175145)

2014-12-23 收修改稿日期：2015-06-30

TP242.6

A

1002-1841(2015)09-0056-04

张靓(1986—)，博士研究生，主要研究领域为机器视觉与多传感器信息融合。E-mail：zhangliang860226@163.com