增强现实技术在飞机装配教学中的应用

2021-01-10胡俊山吴悦雅王忠康田威

科教导刊 2021年26期

胡俊山吴悦雅王忠康田威

摘要航空航天事业的快速发展对航空航天制造业提出了更高的要求，同时也对航空航天专业人才培养提出了许多新的要求，最主要体现在对专业知识的系统性、课程内容的前沿性、培养模式的实践性等环节的提升。将增强现实技术引入到航空宇航制造工程专业课程教学实践中，利用智能可穿戴装配原型系统模拟飞机装配场景，显示正确的装配路径和方法，指导学生进行飞机结构件或线缆装配，解决了传统课程教学中出现的教学科研内容与航空航天制造新发展脱节、教学和科研脱节、教学手段与“互联网+”时代新技术脱节等问题达到培养适应航空航天制造新形势创新人才的目的。

关键词增强现实航空航天制造飞行器装配

中图分类号：G642文献标识码：ADOI：10.16400/j.cnki.kjdk.2021.26.014

On the Application of Augmented Reality Technology in Aircraft Assembly Teaching

HU Junshan， WU Yueya， WANG Zhongkang， TIAN Wei

（College of Mechanical & Electrical Engineering， Nanjing University of Aeronautics and Astronautics， Nanjing， Jiangsu 250016）

AbstractThe rapid development of aerospace industry not only puts forward higher requirements for aerospace manufacturing industry， but also puts forward many new requirements for the training of aerospace professionals， which is mainly reflected in the improvement of the systematicness of professional knowledge， the cutting-edge of curriculum content， the practicality of training mode and so on. The augmented reality technology is introduced into the teaching practice of aerospace manufacturing engineering， the intelligent wearable assembly prototype system is used to simulate the aircraft assembly scene， display the correct assembly path and method， guide students to assemble aircraft structural parts or cables， and solve the disconnection between the teaching and scientific research content in the traditional course teaching and the new development of aerospace manufacturing problems such as disconnection between teaching and research， and disconnection between teaching methods and new technologies in the Internet plus times have reached the goal of training talents adapting to the new situation of aerospace manufacturing.

Keywordsaugmented reality； aerospace manufacturing； aircraft assembly

0引言

近年來，我国航空航天事业快速发展，航空航天制造业向着智能化、高端化、综合化方向发展，对航空宇航制造专业的人才培养提出了更新更高的要求。因此，培养出一大批专业基础扎实、实践能力强且具有国际化视野的航空宇航制造专业人才，已成为航空航天院校的一项重要任务。航空宇航制造专业课程有显著的专业性、综合性和复杂性，但传统的课堂教学过于偏重基础理论，忽视了工程实践，且对先进教学手段的应用不够充分，导致教学水平不高，不利于专业人才的培养。为了满足我国航空航天制造业发展的需要，推进制造强国建设，航空宇航制造专业的教学模式亟须变革。深化改革课程教学内容，丰富教学手段，创造性地运用各种新一代信息技术组织开展学生学习活动，以培育出能够适应航空航天制造业发展需要的高素质复合型人才。

增强现实技术（Augmented reality， AR）作为一种新兴的人机交互技术，具有虚实结合、增强现实、实时交互等特性。其通过计算机的显示与交互等技术，将虚拟信息与真实世界巧妙融合，以对现实世界进行补充，实现虚拟与现实交互与增强。利用增强现实技术，不仅展现了真实机翼的信息，而且将虚拟的装配特点、装配工序等信息同时显示出来，两种信息相互补充、叠加在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到更加具体形象化的装配过程。当前，增强现实技术在教育教学中的应用已有很多，应用前景广阔。将增强现实技术应用在飞机装配教学中能够为学生学习提供情境，激发学习动力，增强学习体验，有利于学生学习能力的培养，也为教师提供了全新的教学模式。

本文针对目前航空航天制造专业人才工程实践能力落后于行业需求的困境，将增强现实相关技术应用到航空宇航制造工程专业本科生和研究生培养过程中，构建了基于增强现实的智能可穿戴装配设备原型系统，打通科研、教学、实验、新兴技术之间的关联，改变传统的教育教学模式，以提高学生的科研知识面和科研创新能力，适应航空宇航制造技术的发展，引导学生掌握飞机装配过程难点和热点问题，对培育创新型人才和教育提供支持。

1飞机装配相关课程教学实践现状

飞机具有产品结构复杂，零件数量巨大，空间十分紧凑，协调关系繁多等特点，而且飞机上的零部件具有大尺寸、若刚性、易变形等特点，导致飞机装配作业难度大、操作复杂度高、装配作业流程漫长，在大型部件装配对接时尤为突出。在飞机制造过程中，装配工作占有极其重要的地位，其劳动量占整个飞机制造总劳动量的50%-60%。飞机的装配工作劳动量大、协作困难，而且质量要求高、技术难度大，是飞机制造过程中最为关键的一个环节。

针对飞机装配，航空宇航制造工程专业设置了飞机装配工艺学、飞机自动钻铆技术、飞机钣金成形技术、飞机装配工装设计与制造等诸多课程，旨在培养宽口径、厚基础的专业人才。但是随着计算机技术和数字化技术的不断发展，飞机装配学科也不断发展，导致传统的授课内容和实验设置与飞机装配技术的快速发展有很多不适应的方面。另一方面，飞行器装配系列课程长期以来一直以课堂讲授为主、视频观摩或其他辅助手段相结合开展教学，学生只能通过书面信息获取相关知识，无法亲自动手操作。对于航空航天制造类专业，实践教学是培养学生掌握科学方法和提高动手能力的重要平台，缺乏高质量实践教学环节将会使航空航天智能制造人才培养大打折扣。

针对飞机装配学科在教学科研与人才培养上面临教学方法陈旧、科研内容脱离实际应用、综合设计型科研平台少等问题，将面向飞机机翼装配现场的智能可穿戴装配技术应用到课程教学中，将移动互联终端、智慧教学工具、增强现实技术等新兴产物应用到课程教学科研中，以解决传统研究生课程教学中出现的教学科研内容与智能制造新发展脱节、教学和科研脱节、教学手段与互联网+时代新技术脱节等问题，提升教学质量。

2基于增强现实的智能可穿戴装配技术

在大部分飞机装配阶段，人工装配作业都占据了主要地位。增强现实技术利用计算机图形学和计算机视觉等技术将虚拟物体、场景等多维提示信息等叠加到真实装配场景中，能够基于真实装配环境为学生提供“所见即所操作”的实时智能引导，可增强学生对真实装配环境的理解，让学生体验人工装配过程。面向飞机装配现场的智能可穿戴装配原型系统利用了装配人员可穿戴、裝配智能规划与仿真、可穿戴装配智能空间、装配误差在线补偿与精准控制等关键技术。

基于增强现实的可穿戴装配技术与原型系统，最大限度地利用了产品数字化模型，直观高效提取模型中大量多元信息（装配引导提示、装配工艺）并显示到学生视野中，指导装配过程，解决了飞机装配现场零部件、工装、工具等目标对象的装配工艺演示指导问题，提高飞机部件装配场景引导效率。

在工艺规划阶段，基于虚拟现实技术，对产品零部件的装配顺序、装配路线、装配干涉、可装配性、可拆卸性、人机功效、拆装效率等进行仿真，进而对产品装配性能、装配数量、装配层级、装配方式、装配位置、装配工具等进行优化，使得产品具有良好的可装配性，确保装配过程简单、装配效率高、装配质量好、装配不良率低、装配成本低。基于虚拟现实的装配仿真系统能够定义每个装配零件的属性，约束其位姿保证正确的装配位置；基于虚拟现实的人机交互系统能够满足用户使用自然交互手段，如手势交互、语音交互或眼球跟踪等手段完成零件的虚拟装配；基于虚拟现实的渲染系统能够将全部装配零件及装配体完全映射渲染至可穿戴智能装备中，保证用户的虚拟可视化。

利用装配现场物理设备关联与采集信息融合技术，构建面向可穿戴设备的智能装配空间，对装配过程中各类作业信息进行高效获取与管理，并针对装配空间下汇集的多源异构装配数据进行计算处理融合分析，实现装配现场在线感知、信息数据实时反馈、控制系统实时通畅决策等功能，达到对装配生产现场的实时监控与动态调控的目的。如图1所示，通过Hololens2AR眼镜接收六维力传感器数据流。

由工业云计算对海量多源异构数据进行实时分析，并通过装配件的关键特征来表征装配误差，低延时反馈给增强人工，最终对装配误差在线补偿，实现装配误差闭环精准控制。

基于增强现实的智能可穿戴技术、虚拟现实的装配智能规划与仿真技术、装配智能空间物理信息融合技术、装配误差在线补偿与精准控制技术等方面的成果，设计出了面向装配现场的智能可穿戴装配系统架构。采用可穿戴增强现实眼镜，实现对人工装配的引导，实现对装配场景的增强感知和实时控制。基于增强现实的智能可穿戴装配技术，使进行装配的学生可轻松通过前端多维信息展示、后台历史数据趋势分析、远程协作支持实现智能化装配作业指导，达到对装配质量精准控制目的。

3基于增强现实的智能可穿戴装配原型系统应用展示

智能可穿戴装配原型系统基于增强现实的智能可穿戴装配技术实现了对三维跟踪注册技术、人机交互技术以及虚实融合渲染技术的研究，结合飞机机翼部件装配、线缆装配、机器人辅助装配搭建了实验验证平台，验证了基于增强现实的智能可穿戴装配技术的技术点。如图2所示，实现了对机翼零部件装配，线缆装配，机器人装配的增强现实装配辅助，可以用于教学实践。

针对机翼装配过程，通过增强现实系统，将虚拟的零部件模型、装配位置、装配路径、操作说明、安装要求等投射到可穿戴设备透视屏幕上，从而对零部件实际装配进行直观、快速、集成的安装作业指导，引导学生按照正确的装配路径和方法进行安装。同时，装配过程中通过智能装配空间对装配件的信息采集和云端处理，自动返回当前装配件关键点特征信息给增强人工，方便学生对装配过程质量控制进行分析和评估。学生戴上可穿戴增强现实眼镜，如图3所示，与原型系统的虚拟飞机零件进行手势交互，根据屏幕上的指导，即可完成飞机结构件的装配，从而掌握飞机装配相关知识和实践能力。

搭建飞机线缆模拟装配现场，利用增强现实技术将线缆的3D模型和装配顺序直接叠加在飞机舱壁上，根据当前所选择的线缆编号和线缆装配的进度提供相应的任务提示信息，将各种装配信息及操作流程、技术规范等以可视化的方式叠加在现实场景中，学生可以根据线缆装配辅助系统的即时性指导进行飞机线缆的模拟装配实验，通过实际操作增强对飞机线缆装配的理解。

4增强现实技术用于飞机装配课程教学实践优势分析

应用基于增强现实的智能可穿戴装配技术，使学生基于虚拟现实的飞机大部件装配对接教学实践平台根据专业培养方案和飞机装配技术特点，以强调知识体系的系统性、突出技术方法的探究性、注重先进装配技术的同步性，使学生系统地掌握主流先进制造装配技术原理、装配工艺设计方法以及实验分析方法，培养学生面向工程问题的分析和解决能力。从实际教学反馈来看，基于增强现实的智能可穿戴装配原型系统达到了良好的教学效果，相比于传统教学具有以下教学优势：

深入践行情境化教学。借助于增强现实技术对机翼结构件装配场景和机翼线缆装配场景直观还原再现，最大限度地为学生提供真实深刻的实践操作体验，根据增强现实场景中的指示体验到装配现场结构件装配和线缆装配的过程，从而加快课程理论知识向实践应用的转化。

激发学习兴趣。考虑到增强现实技术目前在高校的教学领域并没有完全展开，且增强现实技术在学生日常生活中也难以接触的情况，学生在增强现实技术的辅助下能感受到新颖的学习方式，生动的学习场景也能有效调动学生的积极性，提升教学过程学生参与程度，从而提高教学效率与教学质量。

提升动手实践能力。增强现实最开始就是波音公司用来培训员工，提升装配速度与精确度的系统。基于增强现实的智能可穿戴装配系统可以让学生通过一些手势或动作来操作虚拟物体，因此可以提升学生的动手装配能力。

5结束语

为了解决我国在教学科研与人才培养上面临教学方法陈旧、科研内容脱离实际应用、综合设计型科研平台少等问题，培育出能够适应航空航天制造业发展需要的高素质复合型人才，将增强现实相关技术应用到航空宇航制造工程专业本科生和研究生培养过程中，构建了基于增强现实的智能可穿戴装配设备原型系统，打通科研、教学、实验、新兴技术之间的关联，改变传统的教育教学模式，提升学生的学习效果，适应现代科学技术的发展和人才培养的新形势，对探索增强现实技术在航空宇航制造工程教学改革中的应用方案具有良好的启发作用。

基金项目：教育部产学合作协同育人项目“面向飞行器装配的增强现实技术探索实践”，项目编号：201901083004

参考文献

[1]杨文安.飞行器制造工程专业培养方案改革——以南京航空航天大学为例[J].高教学刊，2017（024）：70-72.

[2]齐振超，安鲁陵.“互联网+”时代航空航天制造业教学方法的探讨[J].高教学刊，2017（17）：77-80.

[3]郭宇，陈文亮，金霞.面向现代航空制造需求的飞行器制造工程专业本科培养方案改革——基于南京航空航天大学实践的思考[J].南京航空航天大学学报（社会科学版），2013，15（04）：86-89.

[4]唐健钧，叶波，耿俊浩.飞机装配作业AR智能引导技术探索与实践[J].航空制造技术，2019，62（08）：22-27.

[5]刘昊，郑志远，张自力，等.AR技术在物理实验教学中应用与实践[J/OL].物理與工程：1-6[2021-07-09].

[6]蔡苏，张晗.VR/AR教育应用案例及发展趋势[J].数字教育，2017，3（03）：1-10.

[7]蔡苏，王沛文，杨阳，等.增强现实（AR）技术的教育应用综述[J].远程教育杂志，2016，34（05）：27-40.

[8]王同聚.虚拟和增强现实（VR/AR）技术在教学中的应用与前景展望[J].数字教育，2017，3（01）：1-10.

[9]李荣彬.AR技术在高校实践教学应用的研究[J].信息记录材料， 2020，21（11）：138-139.

[10]李轶.增强现实（AR）技术在教育教学中的设计与应用[J].数字教育，2018，4（05）：28-31.