魏雨，马晓阳，高志宇

（1. 河南中医药大学尚真书院，河南 郑州 450046；2. 河南中医药大学信息技术学院，河南 郑州 450046）

随着工作压力的增大和生活水平的提高，亚健康问题逐渐成为人们关注的焦点，通过中医穴位调理身体机能的方式逐渐引起人们的重视［1］。为了便于人们快速寻找穴位，从而缓解环境带来的刺激辅助病人健康恢复，本研究团队基于卷积神经网络技术构建深度学习模型对穴位进行预测，将中医文化和信息化更好地结合，融入时代发展所需，继承并发扬中医药传统文化。

人体穴位对治疗各种疾病具有重要意义，传统的穴位识别方法主要依靠医生经验和手动操作，容易出现主观性和不确定性等问题。随着计算机视觉和深度学习技术的发展，自动化穴位识别成为了研究热点之一。深度学习是近年来发展最快的机器学习技术之一，具有强大的学习能力和泛化能力。随着卷积神经网络（convolutional neural network，CNN）的发展，其善于处理大规模图像数据的优点逐步用卷积神经网络来替代手工特征提取器进行特征提取，目标检测算法也逐步向基于深度学习的方向发展，检测精度、速度不断提升，基于深度学习的目标检测算法在一定程度上也可以改善由候选区计算冗余的问题［2］。卷积神经网络（CNN）作为深度学习的代表模型，适用于图像和数据的处理。本研究基于深度学习技术，综合应用卷积神经网络，构建了Faster RCNN模型穴位识别模型。

微信小程序是一种不需要下载安装即可使用的应用，体现了“用完即走”的理念［3］，作为一种轻量级应用，可以在微信平台上实现快速开发和发布，为用户提供了更加便捷的服务体验。在此背景下，本研究基于研究结果构建一款微信小程序，用户可以方便地上传自己的穴位图片，经过处理后获得相应的穴位识别结果，为用户提供便捷识穴服务。此外，基于微信小程序的人体穴位识别还具有较好的跨平台性和可扩展性，开发者可以通过微信小程序的云开发和扩展能力，快速构建和部署自己的应用，提供更加全面和个性化的服务。

1 研究方法

1.1 数据集

本文研究所使用的数据集是基于mediapipe库中的Holistic模型输出的人体姿态数据和采集的河南中医药大学师生的手部图片，其中包括了人体关节点的坐标信息，采集的图片穴位经过河南中医药大学中医学院老师标注。该数据集共收集2 000张图片，每张图片均标注人体穴位的位置，用于训练和测试穴位识别模型。

1.2 算法设计

图1 构建思路

图2 Faster RCNN算法结构示意图

1.2.1 特征提取网络

相较于早期的机器学习算法（如SVM 等），卷积神经网络（CNN）的卷积操作发挥了非常关键的作用。卷积操作不仅可以减少网络层数过多导致的大量内存占用，还可以大大降低模型中权重和偏置的数量，从而减轻过拟合的问题。通常，一个单层的CNN 结构包括卷积层、激活函数和池化层。卷积层的主要作用是进行卷积运算，类似于数字图像中的滤波器运算。结果见图3，n1个h1*w1的输入图像数据，经过n2个h2*w2的卷积核运算，得到n3个h3*w3的输出图像数据［4］。

图3 图像卷积

其中，xi代表第i层输入数据，yi代表第j层输出数据，wij和bj则分别代表该层的权值和偏移。

卷积神经网络（CNN）是一种应用广泛的深度学习模型，其中包含了多层神经网络。特征提取部分采用了一种基于CNN 的特征提取方法。首先，将输入的人体姿态数据转化为图片，然后将图片送入卷积神经网络中进行特征提取。

本研究使用ResNet－101 进行特征提取，选择ResNet－101主要考虑到在提取穴位特征的过程中，随着网络层数的增大会导致梯度逐渐变小，从而导致反向传播时低层的权重更新为零，使网络难以训练，ResNet－101 中的残差块允许信息跳跃连接［5］，结果见图4。从而让梯度能够更好地传播，有助于解决梯度消失的问题，使网络能够提取更多的穴位信息。

图4 连接模块

1.2.2 RPN区域候选网络

RPN 代表Region Proposal Network，负责生成候选目标区域［6］，即候选物体边界框，RPN 是通过深度卷积神经网络进行构建的，能够在图像中高效地生成可能包含目标的区域，并将这些候选区域传递给后续的目标分类和边界框回归模块。

RPN是基于特征图生成一组预定义的锚框，每个锚框都有不同的尺寸和宽高比，覆盖不同大小和形状的目标，对于每个锚框，RNP 通过3 × 3的卷积核进行卷积、再分别进行9通道的1 × 1卷积和36通道的1 × 1卷积及激活函数进行分类，判断该锚框是否包含目标，同时，RNP也会对那些被分类为正样本的穴位的锚框进行边框回归，以调整其位置和大小来更准确地拟合边界框。

4.1 温室消毒：按温室空间，每立方米用硫磺4克加80%DDV0.1克和锯末8克混合均匀后点燃封闭一昼夜，再打开风口大放风。

1.2.3 损失函数

损失函数主要是多任务损失函数，包括分类损失和边界框回归损失，其损失函数公式见公式（2）。在网络中通过最小化这些损失函数来学习准确地生成候选目标和对目标进行分类和回归。

其中，分类损失采用二分类交叉熵损失函数，pi表示第i个锚框预测为真实标签的概率，p*i表示真实锚框地概率，当为正样本时为其值为1，为负样本时其值为0，ti表示预测第i个锚框的边界回归参数，t*i表示第i个锚框对应的GT Boxde 边界框回归参数。

1.3 模型训练

实验环境选用：Windows 操作系统，python3.7，RTX3060进行训练，首先在已经训练好的ResNet－101预训练模型上训练RNP网络，其次，利用RNP网络来产生proposals，进行迭代循环训练并不断调整超参数。

本研究使用Pytorch 框架实现了上述算法，使用随机梯度下降（SGD）算法进行优化。训练过程中，将数据集分成了训练集、验证集和测试集，采用了Early Stopping策略和Dropout技术避免过拟合［7］。

Early Stopping 策略是指在模型训练过程中，监测模型在验证集上的性能，并在验证集性能不再提升时停止训练。这是因为模型在训练过程中，随着模型的复杂度增加，训练集的损失函数值会逐渐降低，但在验证集上的性能却不一定随之提高。一旦验证集性能不再提升，就可以认为模型已经到达了过拟合的程度，进而提前停止训练，避免模型在过拟合的状态下继续学习。

Dropout 技术是指在模型训练过程中，随机删除一部分神经元，以降低模型的复杂度。具体来说，在每一次训练迭代中，我们以一定的概率丢弃网络中的某些神经元，使其在该次迭代中不参与前向传播和反向传播。由于每一次迭代中随机删除的神经元不同，可以认为这种方式等价于训练了很多个不同的子网络，从而提高模型的泛化能力。此外，Dropout技术也可以看作是一种正则化方法，可以强制网络学习到更加鲁棒的特征，抑制不必要的、过拟合的特征，从而防止模型过拟合。

2 结果

综合使用Early Stopping 策略和Dropout 技术可以有效地避免过拟合［8］。在模型训练过程中，通过设置一个最大迭代次数和一个最小性能提升阈值来触发Early Stopping策略，以提前停止训练。同时，可以在神经网络的各个层中应用Dropout技术，以降低模型的复杂度并增强模型的泛化能力。经过不断的调参训练，穴位模型的测试集map 最终达到了92%左右，结果见图5，经过30次的迭代损失函数也达到了收敛，结果见图6。

图5 map图像

图6 loss曲线

程序封装：研究团队构建轻量化穴位识别小程序，小程序分为主页、识穴、看点三个模块，进入小程序首先是各个穴位的介绍和十二经络概略，结果见图7。看点主要包括穴位养生知识，穴位按摩手法等相关中医养生知识，结果见图8。识穴为通过调用模型对拍照图片进行穴位识别标识，结果见图9。利用训练好的模型进行手心和手背穴位预测的图像，结果见图10。

图7 微信小程序穴位信息

图9 手心穴位识别图

图10 手背穴位识别图

3 讨论

为了证实研究的使用价值，团队对市面上的穴位程序就体验感和准确性上进行了比对研究。本研究团队对三款穴位定位APP（寻艾、经脉宝和经络养生）进行了分析，三款APP中都介绍了穴位的相关内容，可以在线进行筛查定穴，其中经络养生APP支持视频讲解。但是三款产品都有一个共同的缺陷，即穴位定位难以理解且使用的是3D模型和人体区别较大，只有三次免费使用机会，体验感不佳。另外两款微信小程序：找脉络穴位和图解经络穴位，都介绍了穴位的相关知识，但是对穴位的按摩手法和相关穴位程序没有做详细介绍。相比较而言，本团队提出的识别算法在穴位识别上达到了一个很高的准确率，而微信小程序的搭建能够满足人们的正常生活的识穴、教穴的目的，有很高的应用价值。

本研究所设计的Faster RCNN 穴位识别模型具有较高的准确性和稳定性，且能够在实时性方面满足要求。同时，微信小程序的构建使得穴位信息可以随时随地获取，为民众提供便捷的健康服务，此外，针对微信小程序的构建可以适用于不同的人群，非专业人士可以根据识别的穴位进行操作按摩按压达到调理生理机能的效果，针对不同的人群可以取得不同的效果。

尽管团队构建的模型达到了一个很好的效果，但是由于数据量和硬件设备的限制，没有对大规模数据进行测试评价，因此下一步的工作会对数据进行大量的标注训练，以获得更好的结果。后续也会利用深度学习中的其他算法进行训练模型，并且利用Python 构建移动端APP，实现对人体穴位的精准识别。