史雅莉 盖康豪 张鑫利 孙镇坤 肖春宝

摘  要：针对现有导盲设备无法提供全面的导航及避障服务的问题，设计一种基于MaixPy与YOLOv5模型的可穿戴导盲仪。以Maixduino作为MCU终端设备，采用OpenCV与YOLOv5模型来识别盲道与障碍物的种类，利用百度API实现路径规划与语音识别。该导盲仪具有路径规划、盲道识别、障碍物及危险路况智能检测和语音播报功能，能够为弱视群体提供安全可靠的出行服务。

关键词：导盲仪;盲道识别;障碍物检测;路径规划

中图分类号：TP242.6         文献标识码：A文章编号：2096-4706（2022）04-0185-04

Design of Blind Guide Instrument Based on MaixPy and YOLOv5 Model

SHI Yali， GAI Kanghao， ZHANG Xinli， SUN Zhenkun， XIAO Chunbao

（College of Information Engineering， Henan University of Science and Technology， Luoyang  471023， China）

Abstract： Aiming at the problem that the existing blind guide equipment can not provide comprehensive navigation and obstacle avoidance services， a wearable blind guide instrument based on MaixPy and YOLOv5 model is designed. Taking Maixduino as MCU terminal equipment， OpenCVand YOLOv5 model are used to identify the types of blind roads and obstacles， and Baidu API is used to realize path planning and speech recognition. The blind guide instrument has the functions of path planning， blind road recognition， intelligent detection of obstacles and dangerous road conditions and voice broadcasting， and can provide safe and reliable travel services for amblyopia group.

Keywords： blind guide instrument; blind road recognition; obstacle detection; path planning

0  引  言

目前，我国视障人数已超过1 730万，占全球视障人数的21%以上，并且该数据仍在上升。视障人士出行主要靠盲道来指引路线，但是很多地方的盲道存在不同程度的占用，这给视障群体的出行带来极大的安全隐患。此外，现有的导盲设备功能单一，不能为盲人等弱视群体的出行提供智能的方向、路线规划引导，不能给出移动障碍物的识别提示与避障预警。所以现有的导盲设备亟待改进。

针对盲人等弱视群体出行问题，将计算机视觉、语音识别、机器学习、物联网等技术相融合，设计出一种可穿戴的导盲设备，能提供盲道指引、路径规划与导航、危险提示、空间信息反馈等功能，为盲人等弱视群体的出行提供极大的便利。

1  盲人智能导航系统结构设计

1.1  工作原理

智能导盲仪终端设备通过ESP32的Wi-Fi功能接入互联网，利用GPS模块获取盲人所在位置的经纬度信息。用户使用时首先通过语音唤醒功能将该系统唤醒，说出其需要到达的目的地，终端设备将经过编码的音频流与GPS位置信息通过网络传输至云服务器的线上语音识别与地图服务接口，该接口将优选的路径规划结果返回至智能导盲仪终端，并通过语音播报的方式对用户的行走路径给出提示。

在盲人行进过程中，智能导盲仪将实时采集到的图像上传至云服务器的YOLOv5模型接口，该模型对图像中的盲道和障碍物等目标进行检测，并建立相关的数学模型对障碍物的危险等级进行划分，从而适时地给出避障提示。为保证图像采集精准，导航设备中加载了角度调节装置，在为导盲仪设置一个合理的工作角度之后，其内部的小舵机可利用PID算法使摄像头工作在最佳位置。

1.2  总体设计

智能导盲仪的技术核心MCU采用Maixduino，该单片机内置ESP32的Wi-Fi功能可将设备接入互联网，采用摄像头模块实时获取用户的周围环境信息，利用OpenCV与YOLOv5模型识别盲道与障碍物的种类，并通过陀螺仪姿态传感器得到用户当前的朝向，由语音交互模块收集用户的语音并将编码后的信息传输到云端的语音识别接口，通过GPS模块获取用户所在位置的经纬度信息。云端服务器使用YOLOv5模型对图像进行多目标检测，利用百度API实现路径规划与语音识别，通过后端数据库记录数据并借助机器学习算法分析用户的历史数据，从而进行路线的优先推荐。图1为总体方案设计图。

2  系统设计

2.1  中央处理单元

Sipeed提供的Maixduino处理器集成了拥有强大算力的K210单片机与具备网络通信能力的ESP32单微控制器。K210单片机和ESP32单微控制器分别装载MaixPy固件与Wi-Fi固件，二者均支持二次开发，是一种十分适合AIoT边缘计算的解决方案。该中央处理单元负责传感器数据的采集与反馈控制，在模型无法處理或算法复杂计算用时较长的情况下，通过ESP32的Wi-Fi功能将数据转交至云端进行处理并返回相应的处理结果。

2.2  路况数据采集单元

路况数据采集单元部分的传感器主要包括摄像头传感器OV5640、带有陶瓷天线的GPS模块、九轴姿态传感器和小舵机，摄像头不断采集路况信息并实时将信息转交处理器处理。采用中科微芯片AT6558D的GPS模块可以准确获取用户所在位置的经纬度信息并将其作为路径规划API的请求参数，姿态传感器JY-901可以获取用户当前的朝向信息与产品的佩戴角度，其中朝向信息可以作为判断用户行进路线正确与否的依据，产品的佩戴角度结合PID算法控制下舵机可以使设备始终保持在最佳采集角度。

2.3  网络信息单元

借助ESP32强大的Wi-Fi通信能力，处理单元可以将难以处理的信息转交至云端进行处理。在云端视觉部分调用已经训练完毕的YOLOv5多目标检测模型，该模型既可以实现对障碍物的识别，也可以实现对障碍物的距离测量与方位感知，将处理后的信息转交处理器便可直接进行播报提示。

2.4  用户交互单元

用户交互单元主要包括麦克风阵列以及语音播报模块，实现语音信号与数字模拟信号的相互转化，提供与用户交互的功能。

3  实验

3.1  GPS定位测试

ATK-NEO-6M-GPS定位模块采用串口通信（UART）的方式传输信息，采用NMEA-0183协议定位数据。利用百度地图坐标转化API将获取到的GPS系统使用的坐标系转换为百度坐标系（BD09），分别在动态与静态两种状况下分析同一地点的经纬度结果与可见卫星数，实验结果如表1所示。

根据GPS定位模块返回的信息，在弱视群体合理步速下测量的经纬度结果，与静态经纬度相差很小，经度最大差异为0.000 198，纬度最大差异为0.000 219 7，在阴天测试中可见卫星数在5～7个之间，在现实距离中最大差异在6米之内，该误差幅度满足实际研究要求，可以很好地辅助路径规划。

3.2  语音识别测试

在用户与导航仪的语音交互模块中，利用智能导盲仪的终端进行音频的采集与播放，利用百度AI平台提供的语音识别模型接口进行实时语音识别。为保证音频流的实时识别效果，使用了基于PCM编码的音频片段，采样率为16 000，采样位数为16 bits，单声道，小端序。音频采样数据与部分识别数据如表2所示。

3.3  路径规划测试

调用百度地图的轻量路径规划API，将语音识别到的目标地点与GPS所获取的经纬度作为API接口的输入参数，返回路径规划的最佳路线，并在用户的行进路线偏离正确路线时利用轨迹纠偏机制提供当前及下一导航地点的信息，通过语音模块播报出来。表3为洛阳上海市场到河南科技大学西苑校区的百度地图轻量级路径规划API返回结果。

根据测试数据，起始地点距离目标地点1.6 km，正常步行需要23分钟，在路线的各个节点处提示转向及行进距离。将测试数据与实际数据做比较，结果较为理想，利用百度地图的可视化工具，绘制出相应地点与路线图，如图2所示。

3.4  盲道和障碍物检测测试

为了能够在盲人行进过程中为其提供更加丰富准确的路况信息，使用多目标检测算法Yolov5模型，首先针对盲道与危险路况（坑洼、裂缝、台阶等），在roboflow平台上制作相应的数据集，标注完成后将数据集按照7：2：1的比例划分为训练集、验证集、测试集，图像大小设置为416×416，数据批次大小为16，优化器模型采用Adam，其余超参数使用Yolov5模型默认参数，预训练模型使用Yolov5s.pt，对数据进行120轮次训练。图3为模型检测结果。

为了衡量障碍物在盲人行进过程中对盲人造成的危险程度，建立了一个基于危险程序因子的数学模型。将障碍物相对用户的方位、距离、大小作为指标因素，通过层次分析法判断矩阵的构造得到各项指标的权值。判断矩阵如表4所示，归一化后矩阵如表5所示。

其中各项的数据按列归一化得到：

对指标因素计算平均值得出权值，结果如表6所示。

通过查表RI=0.52，得到，结果为0.08<0.1，通过一致性检验，即所计算的各指标权重值合理。

将方位、距离、大小依次标记为pos、ds、size，并将Yolov5模型检测返回的结果进行坐标变化以便于分析。

（5）

其中，x，y为模型返回的直接坐标，w，h为检测框的宽度与长度。分别计算障碍物的方位、距离、大小的标准量化指标。

（6）

建立危险因子模型：

risk=-0.104 · pos+0.231 · ds+0.665 · size（7）

图3（a）中三轮车的危险因子数值为0.276 1，以该值为阈值，危险因子大于等于该阈值的检测目标评定为危险等级1，反之则评定为危险等级2。图3（a）的障碍物信息统计如表7所示。

危险等级1表示该障碍物对盲人的威胁程度较大，可以提醒盲人注意绕行，危险等级2则表示该障碍物对盲人的威胁程度较小，提示盲人提高警惕即可。

4  结  论

盲人出行问题是一个值得关注的社会问题。本文研究的可穿戴智能导盲仪将导航技术、计算机视觉和人工智能等技术相结合，一定程度上解决了弱视群体出行难的问题。这款导盲仪穿戴方便，具有路径规划、全程语音播报等人性化功能，可以很好地解决弱视群体的出行问题，为其生活带来便利，具有广阔的发展空间。

参考文献：

[1] 罗大鹏，杜国庆，曾志鹏，等.基于少量样本学习的多目标检测跟踪方法 [J].电子学报，2021，49（1）：183-191.

[2] 李嘉明，冯建，徐操喜.基于ESP32的室内CO报警系统 [J].广东交通职业技术学院学报，2021，20（2）：47-19+70.

[3] 曾干敏，唐文琦，明蕊.浅析无人机自主避障技术 [J].科技风，2019（12）：74.

[4] 吴文鑫，李志远，陈逸凡，等.一种物联网盲人智能导航系统设计 J].装备制造技术，2021（7）：139-141+162.

[5] 何腾鹏，张荣芬，刘超，等.基于机器视觉的智能导盲眼镜设计 [J].电子技术应用，2017，43（4）：58-61.

[6] 王政博，唐勇，陈国栋，等.基于机器视觉的智能导盲机器人系统设计 [J].河北水利电力学院学报，2021，31（4）：17-22+54.

[7] 方梓锋，张锋.基于K210和YOLOv2的智能垃圾分类平台 [J].自动化与仪表，2021，36（8）：102-106.

作者簡介：史雅莉（2000—），女，汉族，河南商丘人，本科在读，研究方向：机器视觉、智能电子产品设计。