胡玉敏 郝雷 刘亮

【摘 要】人工智能人机交互新技术能够结合学习场景，提升学生的学习趣味性和自主性，是教育信息化创新应用的趋势。开发团队采用计算机视觉及增强现实（AR）等人机交互技术，融合适切学习内容，开发针对特需学生粗大肢体康复训练测评场景的数字化學习资源，为特需儿童肢体康复训练提供了安全有效的数字化支持手段。

【关键词】特殊教育；学习资源；肢体康复训练；人机交互

【中图分类号】G434  【文献标志码】A  【文章编号】1005-6009（2023）39-0088-03

【作者简介】1.胡玉敏，南京市电化教育馆（南京市教育信息化中心）（南京，210029）教师，一级教师；2.郝雷，南京市电化教育馆（南京市教育信息化中心）（南京，210029）融媒体中心主任，高级教师；3.刘亮，南京市电化教育馆（南京市教育信息化中心）（南京，210029）教师，高级教师。

《“十四五”特殊教育发展提升行动计划》中强调，要鼓励有条件的地方充分应用互联网、云计算、大数据、虚拟现实和人工智能等新技术，推进特殊教育智慧校园、智慧课堂建设。《南京市“十四五”特殊教育发展提升行动计划》在第二次重点任务“将深化融合教育，着力提高教育质量”中，提出要推进信息技术与特殊教育深度融合。上述技术发展趋势和政府特殊教育政策指导，均要求教育信息化资源建设将工作重点投向新技术融合实际应用需求，持续提升数字化信息化学习资源的建设水平和覆盖范围。

一、学习资源开发的可行性分析

特殊教育肢体康复训练场景中，因学生个体能力水平差异对训练方法、过程及效果具有较大影响，从而导致特需学生的粗大肢体康复训练具有相当大的实施难度，康复效果和实施效率不尽理想。因此，开发团队在特殊教育学生的粗大肢体康复训练场景中，尝试采用基于计算机视觉和AR人机交互等技术支持的数字化训练学习资源，对学生训练状态进行实时、客观、定量评估，根据学生水平自动适配学习方案，并通过人机交互界面对学生进行引导干预，助力解决特殊教育学生粗大肢体康复训练的实际问题。

二、适切的技术方案与应用场景研究

资源使用范围为特需儿童（脑瘫后遗症、孤独症、多动症等）的个别化身体康复锻炼、感统及功能康复、注意力训练和简单认知学习的融合及特殊教育场景。资源内容选取符合《培智学校义务教育课程标准（2016版）》的知识点，通过绘本故事构建虚拟情境，以角色动作进行代入式互动操作。

（一）虚拟场景角色扮演交互应用场景

《过生日》是一款虚拟界面的情境体验类粗大肢体康复训练资源软件。软件设置的小红帽为小猪过生日的虚拟情景，通过到野外采蘑菇、摘草莓和钓鱼三个小任务的故事情境，实现数字、方位、大小、颜色等认知学习功能，同时通过下蹲、采摘、抡臂等动作进行粗大肢体康复训练。软件适合特殊或融合教育学习用途，操作步骤如下：

在软件主界面，教师点击鼠标选择教学或游戏模式，教学模式中带有操作动作语音提示，游戏模式由学生根据任务指令自主完成训练。然后用鼠标点击关卡图标进入相应的训练场景。在采蘑菇练习场景，学生面对电脑屏幕，左右移动身体控制屏幕上小红帽玩偶左右移动。当小红帽移动到蘑菇面前时，学生完成下蹲动作一次，控制屏幕上小红帽下蹲采集一个蘑菇。学生重复左右移动，蘑菇定位配合身体下蹲动作若干次，直至采集完三个蘑菇，完成该练习场景。在摘草莓练习场景，类似采蘑菇场景，学生左右移动身体移动到草莓面前，蹲下采集草莓。相比采蘑菇场景，该场景增加了下蹲练习的难度，学生需要保持深蹲状态一段时间，等待屏幕中的草莓变大后可以摘取，采集完三个草莓后完成练习。在钓鱼场景，学生可以用任意一侧手臂做抡臂甩竿动作后，身体下蹲触发屏幕鱼竿甩出，学生保持下蹲等待鱼线旁的圆形进度条走完一圈后，鱼上钩。学生重复正确动作顺序钓完三条鱼完成练习。

在上述训练关卡中，下蹲动作的保持时间可以由教师根据学生水平在软件设置界面内设定，由此来适配学生不同的水平。另外，学生每次训练的数据指标，例如下蹲次数和维持时间、场景练习时长等参数，也可以上传到云平台上的学生训练数据库，保留训练日志，用于对学生练习历史的回溯分析。在学生日常的训练实施中，软件通过云平台的数据库查询学生历史数据，由此设定当前动作训练的难度，使得软件具有自动适配学生水平的功能。

（二）实景视频和虚拟道具融合的增强现实（AR）交互应用场景

《疯狂地鼠》是一款粗大肢体康复训练资源软件。软件采用增强现实界面和体感人机交互技术，创设练习情境，引导学生通过挥手抬腿等动作练习肢体力量和脑体协调能力，测评学生练习数据。

学生面对电脑屏幕站立在操作空间内，可以通过电脑屏幕观看自己的动作视频。地鼠从界面周边6个管道内随机出现，当有地鼠出现的时候，学生挥手或踢脚击中地鼠可以得分。地鼠出没的位置和时间间隔，可以依据学生操作水平自动调整。每次练习后，学生训练数据上传到云端数据库。学生下一次开始训练时，软件获取上次训练的历史数据，获得学生四肢水平的基线数据。如果学生基线数据显示其上肢命中率高，则软件设定地鼠从下肢位置出现的概率高，以便促进学生在本次练习中侧重下肢动作练习。

（三）实景人物抠图融合虚拟场景的混合现实交互体验应用场景

《海底星空》学习资源采用混合现实界面和体感人机交互技术，学生面对电脑屏幕站立在操作空间内，可以通过电脑屏幕观察自己身体在视频中被抠图后与资源情境背景融合，形成混合现实界面效果。学生在天空背景中与星星交互，在海底背景中与海洋生物进行互动，不仅可以学习星空海洋知识，还可以锻炼方位感和反应能力、跳跃能力。软件适用于特需儿童全身动作练习和培智学习等场景。

进入星空场景后，屏幕出现黄色星星时，学生移动身体，挥动手臂去触碰星星得分。进入海底场景后，屏幕出现贝壳时，学生移动身体或弯腰，挥动手臂去抓贝壳。当出现鲨鱼时，学生需要跳跃或蹲下躲避。

三、学习资源应用成效研究

（一）学生的成效

一是增强学习体验。计算机视觉和AR界面等技术可以为特殊教育学生创造更加生动、直观的学习体验，从而提高学习兴趣和参与度，也有助于他们更好地理解和掌握知识。二是帮助康复训练。系列资源通过虚拟场景和互动体验来提供更加安全、便捷的康复训练方式，同时还可以提高康复训练的效果和效率，提升学生的学习自主性。三是帮助认知障碍学生。认知障碍学生在学习过程中可能会遇到一些障碍，如记忆力不足、注意力不集中等。系列资源提供更加直观、清晰的信息展示和反馈，帮助学生更好地理解情境和反复练习。四是提供个性化学习。往期训练的测评数据档案辅助实现对学生水平的追踪，从而为新的训练提供了基线信息，便于根据学生能力动态调整资源使用难度，使得训练更加具有针对性。系列资源根据学生的动作水平提供個性化的练习难度，从而更好地满足他们的学习需求。

（二）教师的成效

一是提高教学参与度。通过技术与内容的融合，学生在虚拟世界中进行互动、体验和探索，使他们的学习更加投入，从而显著提升课堂参与度。二是提高教学效率。该系列资源可以帮助教师更快地获取学生的学习情况和反馈信息，进而更好地调整和优化教学策略和方法，提高教学效率。三是提升教师专业能力。使用计算机视觉和增强现实技术需要教师具备一定的技术能力和创新精神，因此，这些技术的应用可以帮助特殊教育学校教师不断提升自己的专业能力和素质水平，进而提高教学质量和学生满意度。

四、针对真实课堂的改进措施

开发团队利用系列资源，通过“开发—试用—改进—再试用—再改进”的实验流程，在南京市4所特殊教育试点校开展了为期3个月应用实验。结果表明，特殊教育学生对使用该系列资源普遍持积极态度，愿意尝试使用资源，课堂活跃度显著上升，并对资源练习具有持续的兴趣。教师反映，由于资源调动了学生的能动性、积极性，课堂劳动强度有所降低，并且可以借鉴学生水平测评数据，有效提升了课堂训练效率。

不难看出，运用计算机视觉动作识别技术和增强现实AR人机交互界面技术的特殊教育粗大肢体康复训练学习资源，为特殊教育学生的康复训练创设了一种安全便利的沉浸式游戏化互动环境。

当然，和其他新技术一样，教师普遍在这类教学活动的设计上缺乏经验，修正并形成固定可操作的教学模式可能会需要一个较长的探索过程。为达到较好的效果，教师亟须进行专项培训、典型课例与可供参考的教学方案。因此，开发团队将加强对其在相关训练场景的专业度提升，在未来继续深入开展此类资源在特殊教育领域的深度和广度研究。