APP下载

基于增强现实技术的汉语口语实境对话APP设计

2020-09-12伍琴

中文信息 2020年8期
关键词:增强现实

摘 要:在全球“汉语热”不断升温和“互联网+教育”不断发展的趋势下,汉语学习APP的专门化需求加强。增强现实技术具有“虚实结合、实时交互、三维注册”的特点,恰好满足二语习得者对“情景体演、个性交互、深度认知”的需求。本文结合增强现实技术,准确分析并定位汉语口语学习APP的市场需求,在充分调查汉语学习者口语学习难点、相关APP的使用情况及其需求的基础上,设计一款以“舌位发音三维演示、动物角色扮演、实时互动对话”为特点的汉语口语实境对话APP。

关键词:增强现实 汉语口语 实境对话

中图分类号:TP311.5;H19  文献标识码:A    文章编号:1003-9082(2020)08-00-02

一、引言

隨着中国国力的不断增强,汉语成为继英语后又一世界性的语言。据国家汉办统计,目前除中国(含港澳台)之外,全球学习使用汉语的人数已超过1亿,其中包括6000多万海外华人华侨,4000多万各国主流社会的学习和使用者,并且随着“一带一路”“新时代”以及“十九大”等一系列政策影响,来华留学的人数持续增长。除了来华深造的学生外,世界范围内汉语的学习热潮更是不断高涨。在全球“汉语热”不断升温和“互联网+教育”不断发展的趋势下,汉语学习APP的专门化需求加强,汉语口语APP的开发更是迫不及待,但目前国内外的相关研究都比较少,还有很大的空间等待探索。

本文结合增强现实技术,准确分析并定位汉语口语学习APP的市场需求,在充分调查汉语学习者口语学习难点、相关APP的使用情况及其需求的基础上,设计一款以“舌位发音三维演示、动物角色扮演、实时互动对话”为特点的汉语口语实境对话APP。

二、增强现实技术国内外研究概况

增强现实(Augmented Reality,简称AR)是波音公司的研究员托马斯·考德尔(Thomas Caudell)于1990年首次提出的概念,主要指在现实的物理世界中叠加一层计算机产生的辅助信息的技术。虚实结合、实时交互和三维注册的特点,使AR技术广泛应用于工业、军事、医疗、广告和娱乐等领域。在教育领域,AR技术主要应用于“学习内容的三维成像和基于地理位置的AR游戏”。在语言方面,AR技术主要应用于词汇学习:“以三维模型呈现词义和实时翻译”。在其他领域,AR技术主要发挥增强信息(文字、图片、音频等)和实时互动的特点。AR技术具有“应用平台小型化、交互技术人性化、应用领域扩大化”的趋势。

目前,AR技术已经广泛运用于工业、军事和娱乐等领域,而在教育这一块还在初步阶段。很多基于AR技术的教育游戏设计停留在实验室的测试,在市面上推行使用的很少。一方面,是硬件设备和技术的有待跟进;另一方面,是教育需求和AR技术的切入点的寻求。针对AR技术“虚实结合的情景学习、实时交互的泛在学习、三维成像的可视化学习”的特点,其在教育领域的应用将成为必然趋势。

三、汉语口语学习APP的现状及需求

目前,汉语口语的学习大都属于综合类APP的分支,该类APP模块多而不精,对汉语学习者口语习得功能的开拓性和纵深性不够,未出现类似于“英语流利说”这样专门化的英语口语APP。另外,常规的口语课堂教学对提高学生开口率、体现交际性原则方面缺乏必要手段。针对汉语口语传统课堂和现有APP的不足,拟定计划进行走访调查,收集学习者对口语学习环境的反馈,了解他们对相关APP的使用现状,挖掘用户需求,例如“经常使用的APP、一天内使用APP练习口语的时间长短、现有APP的优点和缺点、对该类产品的期望和需求”等,并将反馈意见分列成表,以便进行直观分析。

四、基于增强现实技术的汉语口语实境对话APP设计

综合调查和数据分析,探究AR技术与APP的结合点,分别从APP的整体功能(前台客户端功能和后台服务端功能)、数字学习内容、AR工作流程三个方面进行探究设计。

1.前台客户端功能设计

1.1发音学习(发声器官三维模型)

将人体二维发声器官图像应用AR技术转换为3D模型,并叠加于现实空间,使得汉语学习者可以清楚地观察、模仿和学习某个音节具体的舌位摆放和发声器官的震动,应用AR技术人机交互的特点使二语习得者全方位操控(旋转、放缩)需要观察的具体发音部位。

1.2句子练习(人机对话)

任何语言的学习都是循序渐进、螺旋上升的。在现实环境中,口语的应用需要建立在大量的语句积累之上的,因此,在单句练习方面拟采用人机对话的形式对学习者的语音进行评分和及时反馈。

1.3实境对话(三维动物王国)

动物王国的模拟意在增强学习者的学习驱动力,并且迎合学习者的现实生活中使用口语的需要,避免产生学而不用的问题。利用AR技术使动物以三维模型的形式在现实背景下呈现,增加练习口语的趣味性和真实感,提高学习者的积极性。

2.数字学习内容

2.1语音

三维舌位发音演示现代汉语普通话23个声母(其中包括21个辅音声母和2个零声母)和39个韵母以及413个音节的人体发音器官发音过程,达到二语习得者模仿学习并纠正母语口音影响音节发音的效果。情景对话设定日常情景对话成句语音,包括音节发音、轻声、声调、儿话、变音的学习。

2.2日常中文对话

2.2.1贴近生活,模拟日常交际对话:口语的输出必须符合真实的生活逻辑,因此口语练习最为忌讳的就是理论和实践的不贴合,不能为了达到某种练习的目的生造对话。情景的设计适应生活的真实,设计如机场、地铁、动物园等实用性的对话,打破母语思维,输入中文、中国人的思维模式、逻辑模式。

2.2.2逐层递进,兼顾不同层次学生的需要:按照汉语水平高低以及使用频率分类设置,例如从初级阶段的打招呼、问路、购物过渡到中级阶段的旅游、学习、工作等语用环境。

2.2.3高层次语层互动,促进学生语言能力发展:在对话的设计方面应用口语话词汇和书面高阶词汇交叉嵌入式的设计,使得学习者接触到较为综合的语言材料。

2.2.4每日一句:中国文化博大精深,而语言文字就是这一文化最重要的物质载体之一。以汉语口语为主的APP在谈及语音、对话的同时当然避不开的就是文化,因此中华文化的嵌入至关重要。每天打开APP首先映入眼帘的就是每日一句的积累,其中可收入汉语熟语如成语、谚语、歇后语和惯用语的小故事、文化现象如儒家文化、书法欣赏如名家的字帖、乡野俚俗如上巳节的来源及礼俗、民族风情如蒙古包文化、藏书典籍如《天工开物》的内容源起等内容,每日一句使得学习者能更好地理解并应用中国语言,循环积累、弘扬文化。

3.AR工作流程

3.1AR采用无标记的识别方法,对识别标的(音节、汉字)进行一系列的信息采集(步骤①)。通过专门的开发网站生成包含其特定标识号的数据集,导入到APP后台数据库中(步骤②)。学习者在进行发音训练时,APP调用AR模式,启动摄像头扫描字母或音节,并与后台识别数据库的信息作特征检验匹配,匹配成功后自动调取数据库中的3D舌位发音图模型(步骤③)。

3.2在实境对话中,代表学习者的动物三维模型可以根据学习者的发声行为,同步执行张口的操作,并且能随着学习者地理方向的改变而变化角度。其中依赖于手机声音识别系统以及AR核心技术——三维跟踪注册,即识别现实环境中的信息特征来确定摄像机的位姿,获取摄像机各部分参数(步骤④),然后将AR动物模型渲染(步骤⑤),最终在移动终端的屏幕上完成虚实融合(步骤⑥)。

3.3通过编写程序代码对手势检测所涉及的图像处理等关键技术进行原理分析,包括单指的点击、旋转、拖拽以及双指移动与缩放,形成交互节点(步骤⑦),使得用户更便捷地切换APP中的各类模块。

结语

世界汉语学习呈上升趋势,因此,数字化、信息化汉语学习创新与优化非常必要。目前,网络课程和手机软件应用(APP)是最主要的两种电子学习方式,但二者均缺乏对汉语口语学习方面的研究、开发和应用,不能满足汉语口语学习者的需求。基于AR技术的汉语口语学习是“互联网+”教育形势下世界汉语教学多元需求的技术应用趋势,具有资源共享性高、学习环境交互性强、实现发音器官工作可视化等特点,能增强学习者在情境对话练习中的趣味性和真实性,帮助学习者解决发音难、缺少实际应用的问题,满足个性化学习需求,推广和应用前景强。

参考文献

[1]蔡,王沛文,杨阳,刘恩睿.增强现实(AR)技术的教育应用综述[J].远程教育杂志,2016,34(05):27—40.

[2]陈向东,蒋中望.增强现实教育游戏的应用[J].远程教育杂志,2012,30(05):68-73.

[3]齐立森,皮宗辉,徐苗,王树国.增强现实的技术类型与教育应用[J].现代教育技术,2014,24(11):18—22.

[4]汪存友,程彤.增强现实教育应用产品研究概述[J].现代教育技术,2016,6(05):95—101.

[5]王培霖,梁奥龄,罗柯,高巍,周志颖.增强现实(AR):现状、挑战及产学研一体化展望[J].中国电化教育,2017(03):16—23.

[6]于翠波,李青,刘勇.增强现实(AR)技术的教育研究现状及发展趋势——基于2011-2016中英文期刊文献分析[J].远程教育杂志,2017,35(04):104—112.

[7]曾丹,吉晖.增强现实技术的汉语教学研究[J].语文学刊,2017,37(05):163—166.

[8]张枝实.虚拟现实和增强现实的教育应用及融合现实展望[J].现代教育技术,2017,27(01):21—27.

[9]周森,尹邦满.增强现实技术及其在教育领域的应用现状与发展机遇[J].电化教育研究,2017,38(03):86—93.

作者简介:伍琴(1991—),女,碩士,江门职业技术学院教师,研究方向:汉语研究。

猜你喜欢

增强现实
照片建模与增强现实实验在三维软件基础课程中的应用
增强现实技术在职业教育中的应用