APP下载

技术可供性视角下儿童科普图书多媒介文本建构及其功能*

2022-09-23李小华周嘉琪

中国出版 2022年16期
关键词:音视频感官科普

□文│李小华 周嘉琪

阅读在人类文明史上是如此重要,进入现代社会,技术日新月异,信息海量增长,阅读更是无时不在、无处不在;可以说阅读正成为一种生活方式。自2014年以来,“全民阅读”连续九次被写入政府工作报告。2022年的政府工作报告再次提及要繁荣新闻出版、广播影视等事业,“深入推进全民阅读”。从“倡导”到“深入推进”充分体现了政府对推动全民阅读、建设书香社会的高度重视。

儿童是祖国的未来、民族的希望,启蒙阅读对儿童的心智发展意义重大。习近平总书记在首届全民阅读大会贺信中指出,“希望孩子们养成阅读习惯,快乐阅读,健康成长”。[1]要培养儿童爱阅读的习惯,首先要有优质的阅读文本。当今,科技发展为儿童图书的融媒体出版、多媒介呈现提供了前所未有的条件和可能性。本文即从技术可供性的视角探讨儿童科普图书的多媒介文本构建问题,即媒介技术如何参与了儿童科普图书的文本生产,多媒介建构的儿童科普图书如何更好地实现信息内容的呈现,从而促进儿童的多维阅读和科普知识的有效传播。

一、数字技术为儿童科普图书的出版赋能

“可供性”是由美国著名生态心理学家詹姆斯·吉布森(James Jerome Gibson)提出的一个心理学概念,指环境属性使得个体的某种行为得以实施的可能性,即环境提供或供应了什么。[2]伊恩·哈奇比(Ian Hutchby)将“可供性”引入技术社会学,认为要认识到可供性具有功能性与关系性,而且它是构建而非决定与客体相关的主体行动的可能性,强调了主体与环境/物之间的互动。[3]纳吉(Peter Nagy)、聂夫(Gina Neff)认为,在“可供性”的应用场景中,应将技术物质性、社会结构和人类行为的探讨有机结合起来。[4]威廉·W.盖弗(William W. Gaver)指出吉布森基本只关注肉眼可见的可供性,而实际上可供性还可通过触觉、听觉等其他感官来感知,并提出“技术可供性”的概念;即技术的潜在功能如何为人们设计和使用提供可能性,指向对人造物体现出来的人们心理诉求和设计合理性方面的探讨。[5]技术可供性不具备天然的“好”“坏”之分,既有积极属性也可能存在消极影响,在一定程度上弥合了技术决定论与建构主义理论间的罅隙,为人们分析技术环境、描摹主体行为以及厘清连接关系提供了新的理论依据。[6]

当前技术可供性多用于探讨媒介与用户两端的关系,解释技术如何干预用户对媒介的使用。纵观人类社会的发展,出版业的变迁史实则是一部与技术进步互动的历史。出版技术体系中的一种或几种重大创新或变革,导致了三大重要出版形态的形成:古代出版(抄本、手工印本)、近代出版(机械制造)、现代出版(数字出版)。[7]如今,出版物的表现形态已全面泛化,整个行业进入多种技术融合互补的数字出版时代。技术使出版内容日趋多元,使出版形式更便于读者接收信息;技术与出版业正如榫卯一般,在人的推力下紧密结合。但技术发展永不会止步,随着大数据、人工智能等新技术的更新迭代,出版行业也在不断转型升级,进入智能化发展阶段。[8]而且,云计算、物联网、区块链、AR/VR、5G和元宇宙也是当前推动出版发展的技术前沿。[9]《出版业“十四五”时期发展规划》明确指出,以5G、大数据、人工智能等为代表的新一轮科技革命正加速推进,促进了产业变革深入发展,为出版发行业转型升级提供了有力的技术支撑。

在各种新兴技术的驱动下,图书出版也获得了新的机遇和发展。缘于数字技术的赋能,图书文本的呈现表现出多媒介融合的特征。这种多媒介共现的情形,如同麦克卢汉所言,与其说是新兴媒介替代了旧有媒介,不如说是新旧媒介趋于错综复杂的互动。[10]在同一出版图书中,图、文、音频、视频不同媒介形式互现的情形日益普遍,近年又增加了AR、VR等技术的运用,使读者能够打破现实空间的藩篱,超越时空的局限去体验图书中的多彩世界。新技术弥补了传统纸质出版物静态性、互动性弱的缺陷,为丰富阅读场景和读者体验提供了更多可能。

在儿童读物出版方面,纸质图书的多媒介共现也重塑了受众的阅读体验;由原先单向的视觉摄入转为多感官接触,文字、图像、动画、音频、视频等共同构建阅读文本。与传统的儿童图书相比,多媒介呈现的文本强调运用图文声像等信息载体和数字技术对科普知识进行编码和重组,注重阅读中的双向互动,着力提升儿童的阅读兴趣,从而促进科学知识的有效传输。伴随网络、传播技术的革新升级,越来越多的媒介技术被运用于儿童科普图书出版,其互动性、趣味性、影像化、游戏化等优势先天契合了儿童的阅读能力和习惯。[11]目前,国内外不少儿童科普图书采用了多媒介组合的呈现方式,在传统的图文信息基础上增加了新技术元素,使纸质图书也能展现生动的声像世界。

二、延伸阅读空间:儿童科普图书的音视频连接

可兼容是体现新媒介移动可供性的一项重要指标,如提供图文视听元素的多屏共享。[12]在媒介融合时代,具有移动性、多终端、沉浸化等特点的音频、视频信息文本被整合进纸质出版物中,用以构建多媒介的图书文本。

当前,儿童科普图书构建多媒介文本的手段之一即是在书中插入音频、视频的链接,而所负载的音视频通常有三种表现形式:释义、描述和改编。释义是对较难理解的文字文本用视听的形式体现;描述则重在展示某种过程,如用音视频记录某一科学原理或检验某种假设;改编类音视频是将知识融于生活化场景,再以故事的形式呈现。视听媒介对儿童科普图书内容的“描摹”并非机械式的复制粘贴,而是基于儿童的阅读特性,经由剧本策划、镜头设计、场面调度等处理,将信息通过声音和影像展示出来。融入了音视频的科普图书在声像互动中丰富了儿童的认知体验,形成了融知识性与趣味性于一体、有别于纯文字的阅读文本。比如,由北京联合出版有限公司出版的《小小牛顿幼儿馆》STEAM系列书,基于移动互联网“信息+体验+场景”模式,通过印刷于书中的二维码载入视频拓展课,让儿童对科学有直观的感受。如从鱼缸换水这一日常生活场景引入“连通器”的概念,通过真人示范与动画解说,完成了基于儿童行为逻辑与科普知识传输的适配,激发儿童的“悦读”兴趣。

二维码、小程序、APP软件是音视频超文本的主要表现形式。超文本链接不仅连接既定的文字文本与音视频文本,而且改变了文本被阅读和理解的方式,使阅读文本在空间向度上变得立体多维,实现从现实物理空间向移动数字空间的迁移。爱德华·W.索亚(Edward W. Soja)认为空间可分为三类:第一空间为物理空间,第二空间为精神(心理)空间,第三空间则是对前两种空间的整合与重构,具有彻底开放、自由的特点。[13]由媒介建构出来的声像空间是一种空间的再现,[14]即由现实的感知空间延伸而来的“构想空间”。儿童科普图书中载入的音视频是对图书内容进行选择与改编,从而创造出可供读者进行个性化解读的第三意义空间。此外,在所连接的音视频播放界面常设有留言区,作者、编辑、读者可以自由讨论、评价文本的内容。其动态性功能实现了作者与观众、观众与文本、观众与观众之间的多元互动,使知识在各方的交互中流通;[15]为音视频文本赋予内容与意义上的增值,进一步拓展了图书的阅读空间。而且,基于移动阅读的特性,音视频文本也成为关系流的一个新入口,聚合了儿童的阅读行为与社交活动。因此,乘着“互联网+”的大潮,借助音频化与视频化的灵犀,在多媒互动的今天,声像的延伸是纸质图书实现多媒介呈现的重要通路。根据当前音视频文本在儿童科普图书中的应用,其多媒介文本和阅读空间的建构如图1所示。

图1 音视频在儿童科普图书中的应用

三、情景化交互:儿童科普图书的虚拟成像运用

随着媒介技术的快速发展,增强现实(Augmented Reality,简称 AR) 和虚拟现实(Virtual Reality,简称VR)作为一种新兴技术也被应用于儿童图书出版中,成为现实世界和虚拟世界无缝连接的桥梁。AR/VR为文本再造和沉浸式阅读提供的可能性虽仍处于发展阶段,但所有的开发皆基于此技术本身的最大可供力——场景的提供。AR技术具有虚实结合、实时交互、三维注册的特点,能够使虚拟的事物在真实环境中呈现。利用AR技术,人们在阅读时可以看到跳脱纸面的虚拟模型,还可进一步对虚拟模型进行旋转、拆解。在三维注册技术的支持下,虚拟信息能够与现实场景信息进行对位匹配,例如根据读者与图书的距离远近调整虚拟模型的大小。VR技术赋予主体较强的存在感和自主性,当人们进入VR虚拟场景时,能够突破自身身体“不在场”的局限,完成现实中无法获至的场景体验。

从技术可供性层面看,AR、VR通过APP、二维码以及其他外接媒介实现其交互功能,具体的交互方式可分为操作型、选择型和生成型。操作型交互是指通过对AR、VR文本进行点击、滑动、旋转等操作,三维模型可得到全方位展示。如在安徽少年儿童出版社出版的《皮影中国》AR图书中,读者可翻转、移动皮影戏的戏台以实现虚实交互。选择型交互指人在虚拟环境中可对情节、角色等进行选择,从而引发不同的阅读路径。生成型交互指人们在阅读的过程中需要主动创作,然后生成个体叙事。如在澳大利亚知名科幻作家兰斯·鲍尔钦(Lance Balchin)创作的《未来机械世界》这本书中,通过移动终端的拍摄功能,其中的机械生物能够3D立体地呈现在屏幕上,并收集书中出现过的生物,组建自己的战队与其他玩家进行游戏对抗。AR、VR在技术层面上的设计为儿童打造了独特的沉浸式阅读体验,使儿童能够在阅读虚拟成像科普图书时形成与真实环境、现实中的人之间的循环互动,在“情景化交互”中达成知识性和社会性认知目的。

儿童的认知通常内嵌于情境体验中,[16]因此,如何利用AR、VR技术创设情景化阅读是儿童科普图书设计的关键。为此,除了客观上的技术保障,还需在文本建构方面具备一定的故事与情感元素。[17]为实现儿童与图书有效互动并产生情感共振,AR、VR的文本表达需趋于趣味性和临场感。如《跟着 Wolly 游世界》系列图书采用大量绘图和少量文字相结合的表现形式,介绍世界各地著名景点的特色。每册书中配有8到10个AR,并配有AR益智游戏挑战题,使儿童足不出户便能开启一场身临其境的城市探索之旅,极大地增强了儿童阅读中的趣味性与现场感。而且,AR、VR文本结构设计的系统性、完整性适合儿童形象化的思维和学习习惯。此外,AR、VR文本阅读模式的场景化、社交化也能促使人们在共享阅读中提升沉浸感。如北京少年儿童出版社的VR科普童书《大开眼界:恐龙世界大冒险》,由10多个恐龙世界的VR虚拟实境建构了亲子阅读模式,创设了主体共同参与的情景。

少儿对具有互动游戏功能的虚拟成像技术拥有天然的亲近感,更青睐具有沉浸式交互体验的阅读文本。交互式儿童科普图书兼顾可读性与愉悦感,在表达形式上更契合儿童想象力丰富、好奇心强等特点,从而增强科学传播的效能。AR、VR技术在图书多媒介展示方面协作互补,在技术合力下改变了儿童科普图书的阅读模式,增强了阅读的立体感。AR、VR文本基于情景化交互的叙事设计逻辑为儿童营造了全新的阅读体验,把与周围环境相交互的经验转换为身体与心理的愉悦。根据AR、VR技术在儿童科普图书中的应用,其多媒介成像和情景化功能建构如图2所示。

图2 虚拟成像技术在儿童科普图书中的应用

四、具身性体验:儿童科普图书的多感官设计

任何媒介都不外乎是人的感觉和感官的扩展或延伸:文字和印刷媒介是人的视觉能力的延伸,广播是人的听觉能力的延伸,电视则是人的视觉、听觉和触觉能力的综合延伸。[18]因此,媒介是人的延伸,而身体其实也是一种媒介。作为身体的延伸,多媒介不仅指向物理意义上的载体多样性,还意味着能够调动读者身体感官的信息多样性。多媒介文本运用不同媒介的特性创造出一种包括视觉、听觉、触觉、嗅觉等全方位的感知性符号系统。[19]儿童科普图书对多种媒介进行整合,在内容呈现上实现了媒介互联。除了前文所说的在书中接入音频、视频、AR、VR等媒介文本,有的还嵌入了实物性载体,这些实物载体具有媒介的功能。技术可供性的一个面向是不将媒介物简单视为一种工具,而认为媒介同样具有能动性,能够影响主体的行为。当儿童阅读这类科普读物时,需要调动多种感官来完成,这类多感官设计也是一种技术赋能。随着儿童图书数量的激增,多感官共存的阅读设计成为科普读物的重要元素之一。

在视觉文本建构中,常用的是插图设计,通过手绘示意图、剖析图、地图、实景图等,将微观的世界放大,将宏观的世界缩小,把抽象的知识具象化,把专业的知识通俗化,将生活场景直观化。多感官参与的科普图书文本建构主要通过负载实物媒介以延伸读者的听觉、触觉等感官。听觉感官的延伸主要利用高科技发声内嵌装置、点读配件等完成。在触觉方面,其体验的创设来源于多种图书材料的组合和特殊的装帧技术。此外,心理学研究表明,“嗅觉具有感情的特性”,它能帮助人们产生情感反应;儿童科普图书中的嗅觉建构主要来源于环保无毒材料的使用。在多种实物媒介的参与下,儿童多感官的体验得以延伸。

在多感官参与下,儿童能在感知与实践探究中萌发学习兴趣,然后建立起自己的认知体系。“具身认知”理论认为认知离不开身体,学习是全身心参与的过程,即“学习者通过身体及其感知系统参与环境的交互,从而获取具身经验,使个体在行为或行为潜能上产生积极的、相对持久的变化”。[20]

在阅读多感官设计的科普图书时,具身认知的产生主要通过以下3个环节:身体介入、情境生成以及交互作用。缘于科普图书画面的动态设计,图书的趣味性得到提高,儿童翻阅图书的愉悦感也得到提升;在多感官设计的感染下,儿童触发具身阅读行为。如由阿根廷插画师伊万·卡尔梅(Ivan Kalme)绘制的《美味的阅读》主打“香味科普启蒙”,收集了24种水果、花朵、食物的气味,通过指引儿童用手指触摸图示区域,沾上香味后吸入,充分调动儿童的视觉、触觉、嗅觉感官,使阅读突破视觉中心主义,由二维阅读转向三维体验,拓展儿童具身感知维度。

认知是具身的,而身体又是嵌入环境的,环境对个体认知的效能发挥离不开情境的生成。因此,在文本设计的过程中需要兼顾生活化的内容与符号化的情境。中国环境出版社发行的科普书《听,什么声音》将动物进行拟人化处理,绘制了乐器演奏、交通工具驾驶、自然现象等多个现实主题图画;书中加入了现实生活常见的声音符号设计,主要起到指令或提示作用,通过点击而触发主题图画的原声音频,以提高沉浸式“视+听+触”阅读体验的流畅性。

认知、身体和环境是有机组合的动态统一体,以身体为媒介创建交互式学习,并利用具身化场景构筑多元的阅读感受,通过具身打通“知—行”的认知路径,方能让儿童更好地内化知识信息。如由英国插画师、儿童图书作家本吉·戴维斯 (Benji Davies)所著绘、被翻译成23种语言出版的《小熊很忙》通过小熊扮演各类角色,如消防员、宇航员,向儿童普及职业与生活知识,同时进行英语阅读启蒙。图书由厚纸板制作,置入拉、滑、旋等动作,如扭转方向盘、操控火箭发射等,通过这些交互设计填补了单一视觉感官无法实现的真实体验;同时强调过程性思考,实现了从感官到体验再到情感的联结。

传统的科普图书已为儿童带来了视觉体验,如今科普童书中的多感官设计依托书中的实物媒介扩展了人体的功能,完成了由具身体验到具身认知的转化,在多维阅读层面实现科普的目的。从图书设计趋势来看,技术提供越来越多维的可能,从单向输出到沉浸体验,从表层认知到深度思考,儿童科普图书的前景越来越广阔;而基于多感官体验的精细化设计也将在更多的纸质科普图书中得以应用。根据多感官设计在儿童科普图书中的应用,其多媒介文本建构和具身性体验路径如图3所示。

图3 多感官设计在儿童科普图书中的应用

五、结语

在一定程度上,“可供性”概念是对“主—客”二元对立思维方式的否定,它打破了传统意义上技术与人的界限,将技术与人之间的关系视作更加多元的互动连接。在可供性的视域下,技术不再只是被赋予完全被动意义的人造物客体,而是具有更为对等的生态意涵。将技术可供性引入儿童科普图书出版领域,既是对现代阅读方式的重新思考,也是对深层文化潜能的挖掘与释放。

多媒介建构儿童科普图书,是对文本生产与再生产、链接与超链接模式新的探索。新型儿童科普图书对儿童在视觉、听觉、触觉、嗅觉等感官体验的关注,创设了一种更为具象化、更具亲近性的科普学习方式,让阅读从视听范畴延伸至更为宽广的技术示能场域。儿童科普图书的超文本、多媒介建构,让阅读从扁平走向立体,从线性走向多维乃至非线性,激发儿童的创新意识与各种潜能。新型儿童科普图书的数字化、移动化发展趋势,不仅使文本信息更易存储和读取,使阅读场景更加丰富和灵活;而且能够超越速度与距离,推动共享型、互动型阅读方式的革新。增强现实(AR)、虚拟现实(VR)等科技与儿童科普图书的联结,大大拓展了新型读物的展现空间,容纳更为丰富多样的学习内容,有助儿童在阅读时跳脱原本抽象的知识思维。

在技术蓬勃发展的今天,将会有越来越多的新兴技术被应用于纸质图书的多媒介文本建构中,实现更加丰富多元的阅读体验。如大数据和人工智能可优化编辑工作流程、提高生产出版效能;[21]而元宇宙的应用将会催生一个完全突破现实限制的虚拟世界,全方位地连接人体感官,[22]使读者深度卷入图书文本中。但要实现这些愿景,一方面,需要我们具备前瞻的视野,关注新生媒介,找到其与图书之间的共通点;另一方面也须注意,技术不能简单叠加于纸本之上,应与文本内容紧密相联。

猜你喜欢

音视频感官科普
Microchip推出首款车载以太网音视频桥接(AVB)全集成解决方案
科普达人养成记
3KB深圳市一禾音视频科技有限公司
WIFI音视频信号传输的关键问题探究
更接地气的国际管理方式与音视频实践CEDIA广州中级培训报道
感官训练纸模
科普漫画
感官训练纸膜
科普连连看
科普连连看