张朝霞，马玮鸿，叶 青，熊茂华（通信作者）

（1 广州商学院信息技术与工程学院 广东 广州 511363）

（2 广州商学院现代产业学院 广东 广州 511363）

0 引言

目前，大多数的大型图书馆已经实现了条形码和数据库技术，对图书的信息管理应用于包括图书采购典藏和借阅、归还书籍等环节，到目前为止还未见相关报道在无人干预的情况下，采用基于视觉检测的自主导航取书机器人自动完成取书借书过程。传统的图书馆的管理模式、运作模式和操作流程消耗人力、物力较大，效率低，有效工作时间短以及书籍转运时，可能对图书有所损坏。除规避上述缺点以外，使用自动取书机器人还可以降低在借还书时由于图书的放置错误而造成的损失[1]。

1 功能需求

针对目前大多数图书馆的现状，利用视频检测技术、自主导航技术等对其进行改造设计，使其能成为自动化、智能化的基于视觉检测的自主导航取书机器人。本机器人以自主导航车为主体，对其轨迹跟踪控制提出了新的算法。在Back-Stepping 方法下，结合李雅普诺夫函数，提出了两种运动控制方法，即基于运动学、动力学模型的移动机器人轨迹跟踪控制法，运动学模型下的控制属于理想型，但在现实操作中，系统往往会受到各种不确定干扰，为此，采用了反演滑模轨迹跟踪控制法，可实现精准自主定位导航。

2 自主导航图书馆取书机器人结构

基于视觉检测的自主导航图书馆取书机器人是无人驾驶的，主机板采用高性能的人工智能RK3399PRO 板，具有六核（双核 Cortex-A72+四核 Cortex-A53）的微处理器；采用了双目视频检测、激光雷达定位、配备SLAM 自主定位导航系统、多传感器信息融合（激光雷达、陀螺仪、里程计等多种传感器）；具备在复杂环境下精准定位、多传感器数据融合、动态智能路径规划、手动/自动建图、导航避障、自主导航等功能特点。系统可应用于图像识别、智能驾驶、智能网联、无人系统、智能机器人与群体智能操作等。

3 图书馆取书机器人关键技术

3.1 视觉识别技术

基于视觉检测的自主导航图书馆取书机器人，由于图书背脊大多狭窄，选用了一维码，用于图书的条码识别。取书机器人使用视觉识别进行路障的规避，在通过借阅人得到读取图书固有位置信息后，将定位图书所在位置，然后计算优先路线，自动规避障碍前往图书所在位置，最后机械臂的双目摄像头通过卷积神经网络算法获取识别图像特征，避免烦琐的图像预处理、特征提取的过程，并对目标图像进行检测和相应的处理。之后通过双目摄像机扫描定位标签所在的位置，最后机器人通过控制机械臂实现目标书籍的抓取。

3.2 取书机器人自主导航定位技术

自动取书机器人的导航定位技术，由其底座搬运机构负责，在接收到图书借书任务时，需要准确识别自身位置，并精准到达图书所在的书架位置，不会串位，拿到或放回图书之后，能回到取书口或充电位置，保证下一次工作的正常运行。本导航系统采用激光雷达构建地图各种算法构图的同时，将网格地图应用于自主导航系统，支持室内导航、动态避障，能够在动态变化的非结构性环境下，完成复杂的作业任务。

3.3 取书机器人的机械结构设计

3.3.1 底盘结构设计

图书馆的书架采取的是密集布局，以最小的空间内存放最多的书，并且书架之间的间距不大，取书机器人小车要在其空间快速完成取书任务和转向。目前常用的机器人的移动方式有轮式、履带式和多足式。本机器人系统采用4个麦克纳姆轮构成的四轮式结构，且是用4 个无刷电机独立驱动，通过主控机控制4 个轮子的转向和转速来改变机器人的运行轨迹，实现底盘的横向、纵向及任意角度的移动，还能实现绕中心原地旋转。也能在狭小空间内实现系统平稳、快速的全方位移动，提高图书馆空间利用率。

3.3.2 机械臂设计

机械手部分由拾取手臂和夹持装置共同构成。为了完成取书过程，拾取手臂的设计中最常用的机械臂结构有关节型球面坐标型、球面坐标型、柱面坐标型和直角坐标型。在图书馆自动取书机器人的设计中，按关节型球面坐标型设计机械臂。

3.3.3 搬运机构设计

自动取书机器人的设计理念在于高灵活性，故而在使用搬运设备时，软件的设计和搭载的相关硬件设施都体现了高灵活性，可动态实时躲避障碍，以激光雷达结合多种算法进行网格式地图输出。故而，选用轮胎时也需要具备这种特性，本机器人选用了麦克纳姆轮。

使用这种轮子在平地上具有很高的工作效率可以横向、纵向、任意方向的旋转，并且在工作时，可以使机器人更正自己的状态和位置，在图书馆这种环境中具有较大的优势，保证了图书馆取书机器人工作的高效率与精确性。

4 自动取书机器人的软件

图书馆取书机器人的设计要求是图书馆自动取书机器人是以机器人完成独立的取书、存放、检索识别等工作，读者在控制区对自动取书机器人输入需要取的书的书名，然后取书机器人将根据指令独自完成取书、定位、存取等整个取书环节。

图书馆取书机器人分为两大难点，其一是取书夹持器工作过程，其二是自动定位系统。

4.1 运动控制

激光雷达建立图书馆环境地图采用较为常用的2D SLAM 算法Gmapping。在自主导航过程中，为了实现在地图坐标系上对图书馆的藏书架上的图书精准定位采用了蒙特卡洛定位算法，使用机器人操作系统（ROS:Robot operating system）中的激光扫描匹配器（laser_scan_matcher）功能包来完成激光雷达的前后数据帧的比对，从而获得激光雷达位置变化数据的估计；由于激光雷达固定在机器人的前面，因此，激光雷达固定和机器人两者是简单的平移，由此可得到机器人的里程信息数据。这样就能推导出地图坐标系（Map Coordinate System）、里程计坐标系（Odometer Coordinate System）和机器人坐标系（Robot Coordinate System）这3 种坐标之间的转换关系，通过坐标变换树tf（coordinate transformation tree）统一发布相应的话题（topic）[3]。

基于视觉检测的自主导航图书馆取书机器人的软件主要算法：

（1）IMU9 轴AHRS Madowick 姿态算法；

（2）扩展卡尔曼滤波多传感姿态融合算法；

（3）激光雷达构建地图，支持gmapping、hector、karto、google Cartographer 等算法构图，构建过程支持键盘控制，其中google Cartographer 算法转换成网格地图并用于自主导航功能；

（4）支持室内自动导航、动态避障、AMCL 室内定位功能；

（5）支持OpenCV的常用边缘检测、物体检测与识别等；

（6）支持人脸识别、眼睛识别、人体识别、动物识别、姿态识别等功能；

（7）具备深度摄像头的视觉构建地图及导航功能，支持自动跟随；

（8）支持Android 手机的建图、手机导航及图像传输；

（9）支持语音识别控制；

（10）支持开机自启动。

4.2 图书的识别与取书

为了精准找到书架上的图书，需对书上的条码识别。图书识别采用条码识别的方法进行识别，在条码识别过程中主要是通过相应函数对图书条码的轮廓特征进行识别，在识别辨识到条码轮廓之后，利用zabr 工具包对所找出条码进行解码，从而得出条码所代表的标号进行检索出代表内容。再由机器人的主控机控制机械臂对图书进行夹取。

4.2.1 图书索书号识别

在图书馆中要获得图书的相关信息，通过识别图书的标签即图书索书号即可实现。图书标签中的图书索书号是图书馆中图书的唯一标识码，《中国图书分类法》规定，其索书号格式为：索书号=分类号+书次号+辅助区分号。图书索书号是贴在图书侧面下方，可利用取书机器人的机械臂上的双目摄像头拍摄图书侧的图[4]，获取图像经预处理、滤波去噪、颜色的特征提取、书脊边缘的检测、图像字符分割、匹配和识别索书号取书。具体流程如图1所示。

图1 识别图书索书号的流程

4.2.2 图书索书号识别算法

图书馆取书机器人机械臂上的双目摄像头对书脊边缘精确检测、取书的精准定位的关键取决于书脊边缘检测算法，本系统采用了改进型Canny 边缘算子作为书脊的边缘检测[5]。采用如下步骤处理：

（1）索书号视频拍摄图像的预处理：滤波去噪。

（2）确定HSV 颜色空间的色调（Hue）、色饱和度（Saturation 或Chroma）和亮度 （Intensity 或Brightness）的取值范围。

其改进型的Canny 算子边缘检测算法如下：

（1）传统的高斯滤波

式中，每个类yi的属性xi的对应的平均值和方差分别为μi和σi。

（2）输出像素

根据邻域像素的值的加权组合输出像素。

（3）求出权重系数w（i,j,k,l），其值取决于定义域核和值域核的乘积。

定义域核和值域核的乘积的求解方法如下：

定义域核

值域核

定义域核和值域核的乘积，即为权重系数w（i,j,k,l），如下：

上式可算出尺空间域在像素域的权重值，作进一步的模板归一化，再作卷积处理。

（4）梯度强度与方向计算

在Canny 算法中用了四个算子来检测图像中的水平、垂直和对角边缘。边缘检测的算子对像素水平Sx、垂直Sy求一阶或二阶导数，可确定像素点的梯度强度S和方向θ。梯度强度S与方向θ的计算公式如下：

对于X和Y方向的soble 算子分别如下：

对于方向45°和方向135°的算子分别如下：

其改进型的模板比传统的模板更方便更精准。以上是对于X、Y、45°、135°方向进行计算。

（5）自适应双阈值处理

对于噪声和颜色的变化可能引起边缘像素的变化，针对这种情况可采用双阈值进行边缘像素的过滤，即弱梯度值过滤边缘像素，若边缘像素的梯度值小于低阈值，则会被抑制；保留高梯度值的边缘像素。双阈值可通过OTSU最大类间方差的求得，但算出的阈值并不适应所有的图像。因此，可采取滚动条形式在求得的自适应双阈值的基础上作出微调处理，以其阈值达到最佳的效果。

例如：选取系数TH 和TL，比率为2:1 或3:1。（一般取TH=0.3 或0.2,TL=0.1）；

将小于低阈值的点抛弃，赋0；将大于高阈值的点立即标记（这些点为确定边缘点），赋1 或255；

将小于高阈值，大于低阈值的点使用8 连通区域确定（即：只有与TH 像素连接时才会被接受，成为边缘点，赋1 或255）。

（6）非极大值抑制处理

图像梯度幅值矩阵中的元素值越大，说明图像中该点的梯度值越大，但并不能说明该点就是边缘（仅作为图像增强的过程）。在Canny 算法中，非极大值抑制是进行边缘检测的重要步骤，通常是指寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，这样可以剔除掉一大部分非边缘的点。

（7）边缘链接

边缘链接采用DFS 深度优先搜索。其大于高阈值的为真实边缘；小于低阈值就丢弃，在非极大值抑制已经丢弃一部分；介于高低阈值之间相当于伪边缘。这部分伪边缘就是要操作的部分。

通过上述改进型Canny边缘算子可实现书脊的边缘检测。

5 结语

本文针对图书馆的管理和操作流程、图书馆取书机器人的功能需求和技术需求，设计了一款基于视频检测的自主导航图书馆取书机器人，该智能取书机器人采用了高性能的人工智能开发板、双目视频检测、激光雷达定位、配备SLAM 自主定位导航系统、多传感器信息融合（激光雷达、陀螺仪、里程计等多种传感器）；能够实现在复杂环境下精准定位、多传感器数据融合、动态智能路径规划、手动/自动建图、导航避障、自主导航等功能。智能取书机器人可提高图书馆的工作效率，减轻图书管理人员的劳动强度和工作量，对智能图书馆建设有参考价值。