基于特征识别的AR智能配合装配研究

2022-10-12胡立宏李西兴

机械设计与制造 2022年10期

赵迪，徐臻，胡立宏，李西兴

（湖北工业大学机械工程学院，湖北武汉 430068）

1 引言

增强现实（AR）技术是将真实环境与计算机虚拟信息相融合，通过全息设备展现给用户，增强用户感知的技术。

随着增强现实产品的成熟，其在机械装配上的应用与研究有一定成效。其主要的应用方向有两种，AR辅助装配和AR虚拟装配[1-2]。文献[3]AR辅助装配位姿估计方法，使用SIFT特征点匹配和PNP方法对装配基体位姿进行位姿估计，使用LINEMOD算法对装配零部件进行位姿估计能够准确的进行装配基体与零部件的空间注册，但未对零件配合做智能规划。文献[4]对动态视觉手势识别下的装配时序控制的研究，通过识别信号控制增强现实装配引导系统，提供了智能防错方法，但其装配只是到位置配合，忽略了零件之间的配合关系。文献[5]基于HoloLens的汽车主减速器虚拟装配设计，介绍了使用HoloLens为平台实现AR装配的大概流程，对后者研究有借鉴意义，但未落到细节的如何装配上。

对于AR装配中的最后环节，零件是如何进行准确配合的，目前没有完整的可供参考的AR装配设计。若采用CAD中的配合方式，则丧失了AR装配的优势。若是完全采用碰撞检测的方式进行两零件的装配，对计算机的性能要求更高，不方便虚拟操作人员的控制且装配效率不高。

针对以上问题，这里采取基于零件特征识别的方式，将零件可能需要进行装配的轴与面提取出来，进行AR装配时对手移动零件的全息影像与待装配基体的可能需要装配特征进行检测，当检测到满足装配要求时的位置时，对两零件进行快速自动配合。从而实现对装配精度的要求，以及提高AR装配的效率和操作者的沉浸感。

2 系统工作原理

这里系统的实现技术方案包括两个阶段，如图1所示。离线任务阶段先采用PCL对设计的零件模型进行几何特征识别，识别轴孔与平面，并将其向量特征输出。将零件与包含特征的脚本导入到Unity3D中，随后进行AR虚拟装配的系统设计，最后发布在HoloLens平台中，实现对零件全息图像的手动装配。

图1 AR装配技术方案Fig.1 AR Assembly Technology Scheme

在线处理需要对零件特征向量，起点坐标进行世界坐标的转化，随后对装配是否满足配合要求进行计算。装配时对手势实时检测，实现零件的拖动，旋转与配合。

3 零件配合面特征识别

3.1 RANSAC特征识别算法

传统的CAD配合方法需要人来选定轴，面等特征。这里中进行零件的特征识别，主要是进行孔，轴，平面的特征识别[6]。对一个零件的所有平面与曲面进行分割，然后输出所有特征的方向向量以及向量起点。

在进行图像分割时，Hough 变换与RANSAC（Random Sample Consensus）是常见的两种选择。Hough变换时在检测复杂模型时具有较大的时间和空间开销，主要用于图像领域。而RANSAC方法目前已经有较为成熟的实现，对于点云检测基元的效率已经做了大量优化。

这里中，特征识别的主要对象是平面与圆柱面，可调用PCL点云库中RANSAC算法相应的特征识别函数。

RANSAC基本思路是先根据具体问题设计出求解模型，然后通过反复提取最小点集估计出模型中参数的初始值，利用初始值把数据分为所谓的“内点”和“外点”，最后反过来通过所有的内点重新计算估计模型中的参数[7]。

使用PCL 点云库RANSAC 分割算法，对于不同的点云数据以及分割类型需要设置合适的参数。

其参数包括阈值N，迭代次数k，对圆柱面分割还有表面法线权重系数τ和估计圆柱模型半径范围R。这里中对实验零件的点云分割进行多次的实验分析，最后采用的具体参数，如表1所示。

表1 RANSAC分割算法参数设置表Tab.1 RANSAC Segmentation Algorithm Parameter Setting Table

3.2 零件识别流程

通常我们得到的零件可能是SolidWorks模型，Pro/E模型，或者是3DsMax模型，都可以在对应软件内导出Obj通用格式的文件。但是这种格式的文件，Mesh 网格的密度不均匀，需要在MeshLab中对网格先进行中值均匀化，再导出合适的零件点云。零件的预处理流程，如图2所示。

图2 零件预处理流程图Fig.2 Flow Chart of Part Pretreatment

处理后的点云数据进行体素化滤波，和法线估计后即可进行RANSAC算法进行分割。先将零件的所有平面进行分割，直到不存在阈值N范围内的平面，然后识别剩余点云的数据中的圆柱面。最后将所有平面与圆柱面在零件坐标系下的向量数据输出。

图3 RANSAC分割结果Fig.3 Segmentation Results of RANSAC

使用RANSAC 算法在进行零件的平面及圆柱面分割时，其分割结果清晰，产生的向量起点与向量方向的数据，如表2所示。对于特征向量位置起点具有毫米级别的精度，可满足进行自动配合判别的要求。向量方向由于模型多数为平行于坐标系某一平面建模，向量输出结果平行于某一轴的值为1。

表2 特征向量输出表Tab.2 Output Table of Eigenvectors

4 AR自动配合方法

4.1 零件特征自动配合

4.1.1 坐标转换

为了在装配坐标系中，对零件与基体装配。需要对世界坐标系中零件的向量特征做坐标转换。

分别对向量的方向进行三维旋转变换，与对向量的起点做空间坐标转换。

使用罗德里格旋转公式可计算三维空间一个向量绕旋转轴旋转给定角度θ以后得到的新向量。

假设旋转轴的单位向量k和空间方向向量v分为：

旋转后的向量可表示为：

式中：R表示为：

对零件进行xyz轴进行三次旋转变换，旋转角度θ零件在Unity3D装配空间中的Rotation，如图4所示。

图4 零件世界坐标系中的位置Fig.4 Position of Parts in the World Coordinate System

同时需要对向量原点进行坐标转换，零件坐标系下的坐标(Xp，Yp，Zp)转换到世界坐标系下(Xw，Yw，Zw)：

其中旋转矩阵如下：

点坐标进行旋转变换后，对点进行坐标的平移转化即可得到世界坐标点(Xw,Yw,Zw)。

4.1.2 自动配合判断

将所有零件特征的局部坐标转化为装配时的世界坐标后，则可以对零件的自动装配进行判断。

同轴自动配合，要求当轴的轴心线u与轴系零件的轴心线v靠近时，这时对轴与轴系零件进行同轴自动配合。

分别对轴心线的夹角与距离进行判断。空间直线的夹角为：

假设轴中心线起点为计算向量起点的距离()x0，y0，z0，孔的中心线起点为()x，y，z。

则孔与轴的距离d为：

当手动移动零件使得两零件的轴心线同时满足以下要求时，进行同轴化配合。

同理可对平面自动配合进行判断，两平面的法向量平齐且向量起点接近时对零件的平面进行自动配合。

对于齿轮等复杂几何平面，其在进行面分割时得到的数据不足，不满足完成准确配合的要求。或者产生许多不属于装配接触面的向量特征，应适当增加配合特征信息，并删减非主要配合的向量特征，减小进行自动化配合判断的计算量。

通过添加辅助配合特征的方式，较为复杂零件也可以通过同轴配合以及平面配合进行位置是否准确的判断，实现零件位姿准确配合。

4.2 AR手势装配及操作方法

这里采用HoloLens的手动跟踪功能，进行AR装配。在该系统中以抓取和拖拽作为主要的手势交互方式[8]，两者的具体操作和表达含义，如表3所示。

表3 手势操作及表达含义Tab.3 Gesture Operation and Expression

其手势装配操作流程，如图5所示。在进行手动拖动零件进行装配时，对零件的平面与轴面是否与基体进行配合实时计算，当检测到向量符合3.1自动配合临界条件时，对操作者是否继续拖动进行二次判断，因为这时操作者的主观意愿可能并非是进行当前的配合，需要继续进行观测，若操作者的后续拖动位移仍然在配合得区间内，或者已经松开零件则进行当前的自动配合[9]。

图5 手势装配操作Fig.5 Gesture Assembly Operation

进行的时零件与基体的孔轴配合与平面重合配合，首先是先抓取零件，如图所示抓取后的手会显示为握紧状态,如图6所示。当轴线与孔中心线的角度接近，且位置接近时，自动进行同轴配合。随后继续拖动零件，在当平面的距离接近时，自动的进行平面配合。最后松开手指完成装配。

图6 人机交互AR虚拟装配步骤Fig.6 Human-Computer Interaction AR Virtual Assembly Steps

5 案例实验与系统测试

5.1 实验案例

这里中将此方法应用在二级减速器的虚拟装配系统中。二级减速器作为机械本科生中必不可少的学习内容，AR装配能提高学生的学习兴趣和主动性，有效缓解高效实验设备短缺实验场地资金不足等问题。

图7 旧版本VR虚拟装配平台Fig.7 Old VR Virtual Assembly Platform

根据系统开发步骤，完成减速器零件的特征分析，然后将模型导入Unity3D进行虚拟装配逻辑设计，UI需求设计和手动跟踪控制设计，最后在Unity开发环境中选择二级减速器虚拟装配系统中的场景，并在Universal Windows Platform 下进行发布，使用Microsoft Visual Studio开发环境将减速器虚拟装配系统App安装部署到HoloLens 中，用户即可在HoloLens 中打开系统App 测试系统的各个功能。