郑田田,周海天,宋江玲,张 瑞

(1.西北大学 医学大数据研究中心， 陕西 西安 710127；2.华南理工大学 电子与信息学院,广东 广州 510641)

膝关节退行性病变(knee osteoarthritis,KOA)是一种由于关节软骨变性和破环[1]、软骨下骨增生而导致膝关节发生不可逆损伤的一种慢性进展性疾病。导致KOA的因素复杂繁多,如过大的机械载荷、年龄增长、生活中的不良姿势和习惯[2-3]等。临床表现主要为膝关节红肿僵硬、活动受限,伴随严重疼痛感,疾病后期会出现关节脱位,甚至引发残疾[4]。

据统计,目前我国KOA患者超过人口总数的10%[5],其中60岁以上人群的发病率为50%[6]。KOA已成为影响中老年人生活质量和心理健康的主要疾病之一[5]，此外,研究表明，KOA的发生呈年轻化趋势[7]。因此,若能在病变初期对KOA进行有效诊断,并及时采取相应管理和控制措施,则可在很大程度上避免患者病情进一步加重，陷入半残疾、甚至残疾的生活状态。

目前，对KOA的临床检测主要是医生通过对KOA患者的影像学检查结果进行视觉分析完成。如医生可通过X射线检查膝关节是否存在骨质增生[8],通过核磁共振(MRI)检测膝关节软骨是否存在不规则、边界不清晰等异常[9]，或通过多普勒超声检查膝关节半月板血流及形态,进而给出相应诊断结果[10]。但这些检查手段均存在一定的局限性：如X射线、多普勒超声对人具有一定伤害,无法长期使用;多普勒超声与MRI的检查时间长、价格昂贵;上述设备均对环境要求较高,无法日常使用。且KOA在发病初期,由于关节病变范围小、程度轻、症状不明显,上述检查手段几乎无法得到显著的病理信息,这使得早期筛查变得十分困难,易出现延误就诊。因此,需要一种更为便捷准确、价格低廉、无创无害的检测手段。

关节摩擦音[11],又称为骨振信号(vibroarthrographic signal,VAG)，有可能为实现早期筛查提供一种新的途径。VAG信号是膝关节在活动过程中髌骨和股骨的关节软骨摩擦音。由于KOA患者存在软骨退化损伤和骨质增生,其髌股之间的摩擦相较正常人更大,故VAG信号能够有效反映KOA的发展情况。鉴于此,从VAG信号出发，基于信号处理和机器学习方法实现对KOA的自动检测越来越受到广大学者的关注。

基于VAG信号的KOA自动检测方法本质是一个模式识别问题,即从VAG信号中提取恰当特征，训练分类器完成正常VAG信号与膝关节退行性病变VAG信号(KOA-VAG)的分类。早在1997年,Rangayyan提出以极值点个数和倒谱系数为特征,结合Logistic回归分析实现KOA的检测[12]。其后,从时域角度提取信号及其导数的方差、偏度、峰度和熵等统计指标,并采用径向基神经网络完成KOA的检测[13]。另有基于概率密度函数的Kullback-Leibler距离[14]、变异参数[15]等特征被相继提出。从时频角度,如基于短时傅里叶变换的频谱局部极大值的平均值、个数[16],基于小波包变换的相关指数、节点能量和方差[17],基于MP稀疏分解的能量和能量扩散指标[18]等特征提取方法也可用于KOA检测。此外,Bączkowicz于2015年提出了与患者年龄相关的生理特征对于有效检测KOA具有重要意义[19]。一方面这些方法均需要人为设计特征,而构造泛化能力较强的特征需要经过大量实验,过程耗时;另一方面,现有工作大部分针对是否患病进行检测,而很少聚焦于KOA的早期筛查。

深度学习是一种具有层级结构的学习算法[20]，近年来,这一技术因强大的特征自主学习能力与完整的端到端学习策略,在各个领域得到了广泛应用[21-22]。基于此,本文从深度学习角度出发,结合VAG信号与卷积神经网络提出了一种新的膝关节退行性病变早期筛查方法。首先,结合自动裁剪、补零处理、白化处理等方法对VAG信号进行信号对齐与去相关等预处理;其次,采用Fourier变换对VAG信号进行频域转换,从VAG信号频域角度出发,基于卷积神经网络框架设计了一种KOA早期筛查方法;最后,结合772条临床采集的VAG信号验证所提方法的可行性与有效性。

1 基于CNN模型的膝关节退行性病变早期筛查方法

1.1 卷积神经网络

卷积神经网络是Hubel和Wiesel于20世纪60年代提出的一种以卷积运算为基础的前馈神经网络,主要受到大脑视觉皮层神经元机制的启发,即只对特定区域的刺激做出响应。卷积神经网络在传统网络的基础上引入局部连接、权值共享的运算模式,大大降低了网络运算复杂度。卷积神经网络框架包含卷积层、池化层和全连接层三种层级结构。

1)卷积层

卷积层(convolutional layer,conv)主要通过引入卷积核(卷积算子)对信号的局部特征进行提取[20],其计算公式如下

y=f(W*x+b)。

(1)

其中：x为卷积层的输入向量；W为卷积核的权重矩阵；b为偏置向量,*表示卷积运算,y为卷积层的输出向量；f为激活函数,常用的激活函数包括sigmoid、tanh、relu等。由式(1)知,输入x通过与不同维度的卷积核权重矩阵W进行卷积,实现信号在不同尺度上的反褶、平移、内积、积分等运算,从而提取信号在各尺度上的特征。

2)池化层

池化层(pooling layer,pooling)主要通过max函数或者average函数舍弃信号中的部分信息。其中,max函数对应最大池化,average函数对应平均池化。由于max函数效率更高,故本文选择最大池化。最大池化的计算公式为

(2)

其中：x为池化层的输入向量；r为感受野,y为池化层的输出向量。由式(2)知,感受野值的大小决定了输入x响应区域的大小,通过在不同大小的响应区域上由max函数舍弃部分信息,增加所提特征的泛化能力。

3)全连接层

全连接层(fully connected layer,FC)的主要作用为完成分类任务,其计算公式如下

y=f(WT·x+b)。

(3)

其中:W为连接权重矩阵;b为偏置向量;(·)表示矩阵乘法运算。

1.2 基于CNN模型的膝关节退行性病变早期筛查方法

VAG信号的频域特征对于检测膝关节退行性病变具有重要意义。本文首先将VAG信号转换为频域信号(功率谱与相位谱),进而搭建一个CNN网络对VAG信号频域信息进行挖掘(称之为频域CNN(frequency domain-CNN,F-CNN)),以完成对KOA的早期筛查。

1)VAG信号的频域转换

(4)

(5)

(6)

为信号Xj的功率谱，

(7)

为信号Xj的相位谱。

2)网络搭建

由于VAG信号的功率谱与相位谱存在较多噪声,因此，在F-CNN的第1层中采用伯努利分布构建dropout层，伯努利分布的参数p即为失活概率,设置为20%。第2层、第4层、第6层、第8层是卷积核大小为9*1的卷积层,用以提取不同尺度与层级的VAG信号频域特征,并随着网络加深,网络提取到的特征逐渐抽象，其中，卷积核个数分别为48,96,129,384,卷积步长均为1。为增加网络泛化能力,分别设第3层、第5层、第7层、第9层是池化核大小为4*1的池化层,其步长均设为4。第10层与第12层为含384个神经元的全连接层，用以完成分类任务。为防止过拟合,在全连接层后(即第11层与第13层)增加失活概率为50%的dropout层。最后,增加包含2个神经元的输出层,输出信号属于每一类的概率值。F-CNN参数设置列于表1，图1描述了F-CNN的网络结构。

3)基于CNN模型的膝关节退行性病变早期筛查方法

在上述所搭建网络的基础上,首先，对数据进行自动裁剪与补零、Fourier变换、白化等预处理,然后，采用Fourier变换后的VAG信号基于Adam算法训练F-CNN网络,完成KOA的早期筛查;最后,结合临床采集的VAG信号验证所提方法的可行性与有效性。本文所提的基于VAG信号和卷积神经网络的膝关节退行性病变早期筛查方法流程图如图2所示。

图1 本文所提CNN结构Fig.1 The architecture of proposed CNN model

表1 本文所提F-CNN参数设置Tab.1 Detailed parameters used for all the layers of proposed F-CNN model

图2 基于骨振信号和卷积神经网络的膝关节退行性病变早期筛查方法过程示意图Fig.2 Procedure of early screening of KOA based on VAG and CNN

2 实验

2.1 数据来源

本文实验数据来源于西安市某医院骨科的VAG信号数据库,数据记录了受试者在完成3组“蹲下—起立”动作时的关节摩擦声。数据库共包含从2017年10月到2019年09月采集的1 440条VAG信号,其中，正常信号为395条,KOA信号为1 045条,采样率为10 240 Hz。膝关节退行性病变VAG信号根据Kellgren-Lawrence评级系统[23]进一步分为1～4级。1级代表发病初期,2～4级代表病变程度逐渐加深。由于发病初期病变程度较轻,与正常信号极为相似,若能有效区分这两类信号，则能在病变早期对患者采取防控措施,有效缓解KOA的进一步加重。因此，本文主要关注这两类信号的自动检测。

2.2 数据预处理

由于数据采集过程中不同受试者在完成“蹲下—起立”动作时所需时间长短不一,此外对于一些特殊患者,其完成3组动作有较大困难,最终只完成了一组,这些均导致每条信号的持续时长差异较大。图3展示了实验数据持续时长的分布,可以看到，信号持续时长由4s到30s不等。图4A和4B分别展示了一个正常(0级)的VAG信号与一个1级膝关节退行性病变VAG信号的7s片段。

图3 信号长度的分布Fig.3 Distribution of the length of signals

CNN要求输入数据维度必须相等,因此，首先对信号进行自动裁剪与补零预处理,即对较长信号随机裁剪至13s,对较短信号进行末尾补零,使其为等长信号。

进一步采用1.2节所述方法将VAG信号转化为对应的频域信号,即采用Fourier变换[24]将VAG信号转化为其对应的功率谱与相位谱,最终，将功率谱序列与相位谱序列作为F-CNN的输入信号。图4C和4D分别展示了图4A和4B经Fourier变换后的功率谱。

图4 0级与1级VAG信号对比Fig.4 Comparison of VAG between level 0 and level 1

此外,为降低网络运算复杂度,减小信号相关性,进一步采用Z-score方法对信号进行白化处理。

2.3 实验结果与分析

将预处理后所得的772条信号按7∶1.5∶1.5的比例随机分为训练集、验证集和测试集,即训练集包含540条信号,验证集包含116条信号,测试集中包含116条信号。网络的损失函数设置为交叉熵损失。为了防止过拟合、降低时间成本,采用早停法控制训练过程,即在网络进入稳定状态时立即终止训练。所提模型在Python3的Keras框架下实现,图5为对应F-CNN训练损失函数与准确率的变化曲线,可以看到，网络在前14个epoch中迅速收敛,损失函数迅速下降,准确率快速上升,到第14个epoch时损失函数趋于0,准确率趋于100%,但是在第14个epoch后网络准确率出现略微下降,即网络进入震荡阶段,故网络在第15个epoch停止训练。数值实验中主要采用准确率(accuracy)、灵敏度(sensitivity)、特异性(specificity)以及F1分数作为性能评价指标,其计算公式如下:

(8)

(9)

(10)

(11)

本文所提方法性的准确率、灵敏度、特异性及F1分数分别为86.20%、88.20%、83.30%与0.88,可以看出，本文方法能较好地实现KOA的早期筛查。最后，将本文所提方法与其他已有关于KOA自动检测的方法[25-27]进行比较,结果如表2所示。从表2中可以看出,相比其他已有方法,本文所提方法的准确率与灵敏度都得到了显著提高。尽管文献[25]中所提方法的特异性比本文方法高出了12.4%,这主要是由于文献[25]聚焦于对正常与KOA患者的检测,这两者的差异性明显大于正常与KOA早期状态之间的差异性,因此，更不容易误检。值得注意的是,本文研究目标及所用数据与文献[26]均一致,可以看出，即使与最近的早期筛查方法相比,本文所提方法的检测性能都得到了提升。

图5 F-CNN训练损失函数和准确率曲线Fig.5 Training loss and accuracy of F-CNN

表2 本文方法与已有关于KOA自动检测方法对比Tab.2 Comparison between the methods of this paper and existing automatic detection methods of KOA

3 总结与展望

本文提出了一种新的用于进行膝关节退行性病变早期筛查的方法:基于频谱分析的CNN模型。首先，对临床采集的VAG信号进行数据预处理;然后，设计基于卷积神经网络的KOA早期筛查方法:F-CNN模型;最后，结合所采集数据验证本文方法的有效性。实验结果表明,本文所提出的F-CNN模型在整体上性能更好,能够更准确地完成早期筛查任务。但是,如年龄等生理特征对于KOA早期筛查也具有重要意义,因此，下一步研究将考虑联合生理特征与VAG信号完成膝关节退行性病变的辅助诊断。