马方楠　方睿

[摘 要] 应用互动数字叙事（Interactive Digital Narrative，IDN）框架，提出在设计扩展现实（Extended Reality，XR）类科普童书产品的过程中，基于纸质书叙事符号与扩展现实交互界面形成映射关系，依托纸质书角色间的互动形成叙事情境，并将该情境迁移到扩展现实互动体验设计中。进而提出以视、听、触的隐喻性叙事符号、角色间社会化互动的叙事情境、第一人称视点的叙事视角作为扩展现实科普童书的互动数字叙事策略。

[关键词] 扩展现实 科普童书 互动数字叙事 交互设计 叙事策略

[中图分类号] G237 [文献标识码] A [文章编号] 1009-5853 （2023） 06-0018-08

Interactive Digital Narrative Strategies for Extended Reality Science Popularization Popularization Children’ s Books

Ma Fangnan Fang Rui

（College of Communication and Art Design，University of Shanghai for Science and Technology， Shanghai， 200093）

[Abstract] This article applies the Interactive Digital Narrative（IDN）framework， and proposes that in the process of designing Extended reality（XR） popular science children’ s books， the mapping relationship between paper book narrative symbols and XR interface is formed， and the narrative context is formed based on the interaction between paper book characters. Context transfers to XR interactive experience design. Furthermore， the metaphorical narrative symbols of sight， hearing and touch， the narrative context of social interaction between characters， and the narrative perspective of the first-person viewpoint are proposed as interactive digital narrative strategies for XR popular science children’  s books.

[Key words] Extended reality Polupar science book Interactive digital narrative Interactive design Narrative strategies

[基金项目] 本文系上海市社会科学规划课题资助项目“传统文化教育视域下的童书创意研究——基于情境学习的视角”（2020BWY00）研究成果。

[作者简介] 马方楠，艺术学博士，上海理工大学出版印刷与艺术设计学院讲师；方睿，工学博士，上海理工大学出版印刷与艺术设计学院副教授。

随着α世代对数字阅读和沉浸式叙事的需求不断提高，扩展现实（Extended Reality，XR）科普童书对年轻读者来说更具吸引力。扩展现实是描述增强现实（Augmented Reality，AR）、虚拟现实（Virtual Reality，VR）和混合现实（Mixed Reality，MR）技术的总称。其中，增强现实由叠加在现实世界之上的图形组成，虚拟现实将用户置于完全沉浸式的环境中，而混合现实则是两者的综合。科普童书是少儿图书出版市场中具有增长潜力的细分种类之一，将扩展现实技术与科普童书相融合是未来重要的发展趋势，能够提高科学知识传播的效能，为儿童创造沉浸式认知体验，更重要的是能够为儿童提供一种双向互动的“共同生产模式”。

尽管我国在扩展现实科普童书上进行了许多有益探索，但仍有许多出版物在内容和交互设计的融合上存在形式单一、同质化、内容和交互不适配的问题。学界对于科普童书的选题分析、AR/VR技术与科普童书内容的适配等方面提出了诸如改善选题、优化技术等解决思路，然而XR科普童书在内容和技术上如何实现有机融合还尚无探讨。

本文应用互动数字叙事（Interactive Digital Narrative）框架，提出在纸质科普童书的基础上（尤其是科普图像小说或科普漫画）应用扩展现实技术创作数字出版物的互动数字叙事策略，以期促进扩展现实科普童书内容与形式的融合模式创新。

1 国内外扩展现实科普童书现状与问题

在科技的推动下，越来越多科普童书尝试融入扩展现实技术，旨在为年轻读者提供更具吸引力和趣味性的阅读体验。在中国市场上，引进了包括《消失的世界》（2016）、《未來机械世界》（2018）、《奇幻植物园》（2018）、《寻找看不见的世界》等国外科普童书，并由国内出版机构和新媒体研究机构打造出受到读者欢迎的增强现实版本。近几年，我国原创增强现实科普童书《地铁是怎样设计的》（2019）、《恐龙寻踪：误入未知世界》（2021）在设计上有所创新；在虚拟现实科普童书方面，《天工开物：给孩子的古代科技百科全书（VR礼盒）》（2022）在形式上较为创新地以微信小程序替代了独立的应用程序。

国外市场上，出版有《大英百科全书：VR科学》（Encyclopedia Britannica： VR Science）（2018）的系列虚拟科普童书，《哇！百科全书》（Wow！ Encyclopedias）（2020）的增强现实科普童书。2021年美国图书馆创意（Library Ideas）出版了首部将增强现实与虚拟现实结合的系列科普童书“沉浸现实图书”（IR Books），该项目获得了美国2021年国家育儿产品奖（ National Parenting Product Awards）。沉浸现实图书包括两个阅读级别的系列丛书， 级别1 （level 1）为4—7岁儿童设计，级别2（Level 2 ）为8—14岁儿童设计，主题包括天文、地理、生物、人文、工程。此外，2021年美国国家航空航天局（NASA）与布利娱乐（Bully！Entertainment）合作出版了首部扩展现实轻科幻图像小说《首个女性：NASA对人类的承诺》（First Woman： NASA’ s Promise for Humanity），并在其扩展现实互动设计中融入了大量航天科普。

本文对国内外近6年出版的扩展现实科普童书进行案例分析，发现扩展现实科普童书尽管在市场上获得了大量热度，但在内容和形式的融合上，仍然存在以下几点尚待解决的问题。一是纸质书美术风格与扩展现实界面风格不一致，例如《恐龙寻踪：误入未知世界》的纸质书版式设计是复古手绘风格，但增强现实界面图标却是高饱和的扁平化风格。二是纸质书叙述内容和扩展现实互动设计的相关性弱，例如《天工开物》将虚拟现实内容的二维码放置在封底，纸质书内容和虚拟现实互动设计彼此脱离。三是纸质书叙述视角与扩展现实空间导航割裂，例如《地铁是怎样设计的》的虚拟现实动画在空间导航上缺少第一人称视角设计，没能很好地使读者感受到地铁的空间尺度和结构。因此，应用扩展现实技术赋能科普童书，尚有较大的提升空间。

2 互动数字叙事框架下的扩展现实科普童书设计

2.1 互动数字叙事的概念

科普童书的叙事往往是儿童文学和非虚构文学的结合，以富于想象的故事增加儿童对科普知识的兴趣。然而，要实现纸质书叙事和扩展现实界面设计、体验设计的高度融合，则需要充分调动纸质书叙事这一重要资源，在互动数字叙事的框架下，故事和数字媒体资源、UI界面设计之间的关系是一种相互作用、相互影响的耦合关系。

哈特穆特·科尼茨（Hartmut Koenitz）将互动数字叙事定义为数字媒体中一种富有表现力的叙事形式，将其实现为包含潜在叙事的运算系统，并通过用户在参与过程中的体验，产生显现化的叙事产品[1]。可以理解为，互动数字叙事是由系统、过程和产品组成的，包含故事、数字媒体资源、UI界面以及叙事设计。也就是说，互动数字叙事的系统需要进行叙事设计才能显现出产品的叙事潜能。

2.2 基于纸质书叙事符号映射的扩展现实界面设计

扩展现实界面设计是扩展现实科普童书系统设计的一环，借助纸书中的叙事符号资源，以特定符号与UI界面形成映射关系，是应用互动数字叙事框架的路径之一。那么，纸质书叙事符号，如何与数字界面中的要素形成映射关系？数字叙事学专家玛丽-劳尔·瑞安（Marie-Laure Ryan）在其著作《可能世界、人工智能、叙事理论》（Possible Worlds， Artificial Intelligence， and Narrative Theory）中提出“真實系统”（System of Reality）理论，指出假如这个世界包含由卫星世界包围的中心世界，则该系统具有模态结构并形成一个模态系统。模态系统的中心是它的现实世界，卫星是“替代的可能世界”。在这个系统中，“文本参考世界”（Textual Reference World，TRW）即文本指称事实的世界，是文本所主张的命题被重视的世界。在现实的模态系统中的“替代的可能世界”（Alternative Possible World，APW），文本参考世界是包含替代的可能世界现实系统的中心。

根据瑞安提出的“符号化的真实系统”，本文将纸质书中的叙事看作符号意义上的真实系统，进而认为基于纸质书叙事符号而创作出的扩展现实交互界面可被看作是由该真实系统延伸出的“可能世界”[2]。依据真实系统和可能世界的映射关系，形成将纸质书叙事符号资源作为象征符号、以符号映射的方式将叙事融入扩展现实界面设计中的理念，从而为读者或用户提供更好的意符和示能。

因此，科普童书的叙事符号资源属于文本参考世界，借助增强现实/扩展现实呈现的图书外的扩展现实交互界面及其数字媒体资源则属于替代的可能世界。这种理解方式建立在科普童书内的叙事是对符号真实世界的文本指称，图书载体是叙事符号的中心，增强现实/扩展现实呈现的世界是围绕该中心世界的“卫星世界”。扩展现实科普童书是以文本参考世界为中心，围绕该中心创建替代的可能世界的多模态叙事系统。在目前的技术手段下，扩展现实的媒介内容往往通过二维码或可识别图形，使读者从文本参考世界进入多个由移动设备提供的可视、可听、可触的替代的可能世界中。

2.3 依托纸质书叙事情境迁移的扩展现实互动体验设计

科普童书的叙事主要是为科普知识提供学习情境，纸质书中的叙事情境经过儿童初步学习后，再通过情境迁移，在扩展现实互动体验中转化为对科普内容的新知。本文认为在叙事情境的设计上，故事角色之间符号意义上的社会交互，尤其是对话交互、肢体动作交互、基于分享式注意力的交互、基于共同目标而合作的交互，是适宜在扩展现实互动设计中塑造情境学习体验的依托形式。

对于儿童来说，迁移式学习并非易事。因此，叙事设计者需要在纸质书叙事情境中给出明确的线索（暗示）。当叙事情境源自角色间的“社会交互”时，角色之间的对话内容、身体交互的动作、共同关注的物件，以及他们共享的目标和任务都应被考虑为可能的线索，被叙事设计者有意识地纳入情境中。在此基础上，扩展现实互动设计可以借鉴并保留纸质书中的这些叙事情境。这种设计方式有助于儿童更轻松地将他们从纸质书情境中学习到的内容迁移到扩展现实的情境中，从而使他们能够更自主地在扩展现实空间中进行学习活动。

借助叙事上的线索开展的交互设计，被交互叙事研究者罗赫里奥（Rogelio）认为是基于叙事可供性（Narrative Affordance）[3]的，这种观点认为“叙事可供性在交互中是创造让用户可持续地体验到故事的行动上的可能性”。通常，交互设计中认为可供性是基于“人工制品”（artifacts）。提到可供性时一般是以威廉·吉布森（William Gibson）的生态心理学[4]来解释交互空间中物品为人提供的可操控的可能性。美国交互叙事的研究者迈克尔·杨（Michael Young）提出将叙事（尤其是故事事件）而非“人工制品”作为促进用户认知，并使用户直觉地预想故事结果的可能性，以此作为研究游戏交互中的叙事可供性[5]。

在人机交互领域，叙事可供性已被证实与支持叙事的数字界面设计相关。研究人员已经确定了各种可以增强叙事可供性的界面设计原则，例如使用视觉叙事技术为叙事提供多个入口点，以及根据用户的兴趣和喜好量身定制的个性化叙事等。叙事可供性的概念为理解数字媒体技术如何促进叙事的创造和消费提供了有用框架，帮助人们更好地理解不同的媒体形式、数字工具和界面设计原则如何有效支持叙事。

科普图书的扩展现实内容在提高用户参与度和游戏体验设计上，通常被认为是有效果的。但这并不意味着游戏的交互叙事策略适用于交互式的科普童书。众所周知，科普读物需要保持文本内容的真实性、客观性，难以实现游戏交互叙事那种真正让用户影响叙事的情况。扩展现实科普童书中交互设计的可供性[6]是为用户提供“产生认知”的行为动机，为了使这种认知行为不脱离读者在叙事性文本中获得的沉浸阅读体验，专为科普童书设计的扩展现实内容的叙事可供性应该遵循“全情景”原则。

3 扩展现实科普童书应用互动数字叙事的路径

在XR科普童书中应用互动数字叙事的策略具体可以从以下三个方面展开。

第一，以视、听、触的隐喻替代直白的行动指示，形成多模态叙事符号，基于纸质书叙事符号与交互对象的映射关系，创设扩展现实互动界面的设计原则。在设计用户与虚拟环境互动的多种可能性时，隐喻是其中很重要的设计工具，对于扩展现实科普童书来说，加强儿童沉浸感的关键是提供“一致”的阅读体验，即将儿童在阅读图文故事所获得的沉浸感阅读体验延续在扩展现实空间中。基于儿童的认知特点，他们尚处在认知发展阶段，对于理解科普知识中的抽象概念还有一定困难，他们更有可能对视觉刺激做出反应[7]。因此，在扩展现实交互设计中使用隐喻时，选择易于理解和具有视觉刺激的隐喻至关重要。通过选择儿童熟悉的隐喻，使用隐喻来简化复杂的概念并用隐喻创造故事，帮助孩子们参与到故事当中并从中建立情感联系[8]。在科普童书的扩展现实交互设计中，图像、动画或者音效、音乐都能强化隐喻意义。需要注意的是，同一个隐喻符号用在不同模态上时，其隐喻的意义可能会发生变化，不恰当的隐喻符号会产生矛盾意义，从而干扰用户的理解和判断[9]。因此需要注意隐喻符号使用时的一致性问题。

《首个女性》采用图像小说形式，其扩展现实内容的交互设计中使用了大量的感叹号来提示用户“此处有新的发现”，在用户点击“感叹号”后，提供包括图像、视频、网页的附加科普信息在内的三项增强现实内容；若点击虚拟空间中标识的感叹号，则提供交互动画（例如模拟操作太空舱内设备的动画）、拓展的富媒体交互界面（包含科普知识问答、科普视频、文章）选择等四项虚拟现实内容。通过由隐喻符号建立与图文漫画类似的阅读体验，使得增强现实/扩展现实的交互设计对于儿童来说更具有吸引力，相较于被动地接受学习指令，隐喻符号的交互设计能够增强儿童学习的主动性。

第二，以角色间的互动替代解释性的叙述，形成社会化的叙事情境，依托纸质书叙事情境铺陈的“引渡点”，创設纸质书转向扩展现实互动的时机。“引渡点”是引导读者由阅读纸质图书转向体验扩展现实科普互动内容的“触点”。合理设置“引渡点”能够增强儿童进入扩展现实科普互动时的“信念感”，帮助儿童代入角色身份去和虚拟场景进行交互。要设置合理的“引渡点”，首先需要分析角色间互动的重要形式，本文借鉴社会学中人际互动的分类方法[10]，将角色间的互动分为对话互动、肢体互动、基于分享式注意力的互动和基于共同目标而合作的互动，并考虑以上几种互动的叙事呈现方式以适配儿童的认知水平。本文以甘瑟·克雷斯（Gunther Kress）的社会符号学为视角[11]，分析故事角色间互动的多模态符号，认为这些叙事符号形成的叙事情境，由于其内在的社会互动意义使扩展现实互动形成意义。

例如《首个女性》的扩展现实交互设计中，通过各类模态的隐喻符号生成意义也为嵌套空间在体验上的一致性提供设计工具。例如，“感叹号”图形是贯穿该项目的所有AR+VR内容的隐喻符号，它引导了用户的大部分探索行为，也是帮助用户找到空间转换点的工具。感叹号在漫画里的隐喻是“新发现”“想到了重要的事情”，而三角形、圆形内附上感叹号，是隐喻“警示”“错误”，这些隐喻符号对儿童来说是熟悉且易于理解的。

《首个女性》图书中的叙事分为主线剧情（太空探索）和支线剧情（回忆成长故事），由主线剧情部分的社会化情境建构引渡点，引导读者进入扩展现实的交互空间中进行深度科普知识学习。在叙事策略上，选用社会共有的航天文化作为故事情节并形成“引渡点”，例如，在空间站内就餐、穿戴航天服、驾驶探月车、远程视频通信等，此类情节在各国科幻作品中是常见的、读者易于理解的文化符号，以其为“引渡点”再向读者科普有关NASA阿尔忒弥斯计划（Artemis Program）的“硬知识”，由浅入深、循序渐进，更加符合8岁及以上年龄段儿童的认知规律，其扩展现实内容在交互设计上将NASA官方网站上与阿尔忒弥斯计划相关的科普知识以链接的形式，将科普纪录片、科普文章整合在虚拟现实空间界面上的菜单栏内。该项目的技术实现方式是通过摄像头扫描真实空间的坐标信息，实现虚拟空间和现实空间位置上的重叠，同时在虚拟空间中加入控制杆系统，使读者能够体验到第一人称视角的全景交互式3D场景的扩展现实科普图书。上述情节中机器人RT扮演着“好奇宝宝”的身份，其性格、体型和语言风格采用了儿童友好型设计，在读者初次被图书中的上述情景引渡到虚拟现实的虚拟空间中时，迎接他们的便是机器人RT。从媒介叙事可供性上来看，虚拟现实空间里的机器人RT除了为体验者提供“行为提示”的功能以外，也为叙事中的社会化情境提供情感化互动。《首个女性》包含四个虚拟体验场景，分别是“造访月球表面”“造访NASA的猎户太空舱”“造访一座月球火山口”“造访月球前哨基地内部”，每当读者扫描书页上的二维码进入虚拟现实场景，便会看到机器人RT挥手欢迎并弹出文字框，RT并不会向体验者逐一介绍虚拟空间中的各个项目，而是在简短的开场白后引导体验者自由探索，当体验者止步不前时，RT会再次出现并提供引导信息。

第三，以第一人称视点替代全知视点，形成具身化的叙事视角，基于纸质书叙事视角与空间尺度、空间结构的呼应关系，创设扩展现实互动的空间导航原则。扩展现实科普互动内容能够创建非幻觉主义空间，在设计空间导航时需要考虑参与互动的体验者的直观感受，通过交互设计模拟现实中的知识学习行为，如行走四顾、贴近观察、触碰、抓握等。导航中的行动能够实现具身化的视听体验，因此体验者往往能够产生超出日常经验的观感。例如，加拿大另一种真实博物馆团队在2018年开发的“另一种真实博物馆”（Museum of Other Realities，MOR），属于新型线上虚拟现实文化空间，能够让更多数字艺术家及虚拟现实创作者的实验性数字艺术作品受到大众关注与认可。针对用户观看体验，它设计了以下几项核心交互设计。首先是服务于空间导航的虚拟导览台，它被设计成虚拟现实中常见的虚拟操作界面，创新之处在于提供了快速导航的寻路功能。简而言之，它可以帮助用户快速定位到任何想要到达的虚拟空间。其次是为自己设置虚拟化身（Avatar），在“另一种真实博物馆”里虚拟化身可以自定义外貌，它被设计为抽象、浮空的几何体小人。这项功能可以使空间导航中的摄像机以自身虚拟化身背后为视点，联网时可以看到其他虚拟化身在美术馆中看展，从而对于现实世界中的博物馆环境进行针对性模拟。最后，最特别的设计则是允许用户可以改变虚拟化身体型大小，如同爱丽丝梦游仙境中的缩小药水，虚拟化身能夠缩小10倍或者放大10倍，与此同时自身视野亦会随之变化。其空间导航并非简单的模拟现实观看经验，而是为观者/体验者制造超出日常经验的视觉奇观。

VR项目“另一种真实博物馆”中展出的作品《色度波》（Chroma Wave），对扩展现实科普互动的空间导航设计具有启发意义，该作品的形态是由数千个彩球组合而成的树状，观者/体验者可以改变自身虚拟化身尺寸与大小，不仅可以近距离站在树的内部，亦可远距离进行俯视，自由空间导航同样能够带来一系列偶然性事件，例如处于不同视野下的互动产生的不同视觉体验，粒子动画与观者/体验者之间产生的碰撞效果等，当虚拟化身的手碰到粒子之后，既可以聚拢浮在空中的粒子，亦可将其打散，使其飘散在空中。这一案例不仅包含了视、听、触的多模态体验，还从空间导航设计上为观者提供了多种空间尺度的观看方式，它对科普内容设计的启发在于，虚拟场景依据真实的空间尺度设计，会给观者带来更加身临其境的感受。对于一些微观层面的科学知识，则不适合用真实的空间尺度，但又需要实现具身化的观看体验，那么就更适合借助虚拟空间中的虚拟化身，使其变成尺寸可变的状态，让观者能够自由地在宏观和微观视角之间切换。

4 结 语

如何提升科学传播的效能是我国原创扩展现实科普童书行业亟须解决的问题。本文剖析了扩展现实科普童书叙事策略，以期对我国扩展现实科普童书行业从交互叙事的可供性上思考“场景式阅读体验”有所启示，促进科普童书的融合出版方式创新，从而提升科学传播的效能。

我国扩展现实科普童书行业应批判性地借鉴国外有益经验，在叙事策略上：第一，以视、听、触的隐喻替代直白的行动指示，形成多模态叙事符号，基于纸质书叙事符号与交互对象的映射关系，创设扩展现实互动界面的设计原则。第二，以角色间的互动替代解释性的叙述，形成社会化的叙事情境，依托纸质书叙事情境铺陈的“引渡点”，创设纸质书转向扩展现实互动的时机。第三，以第一人称视点替代全知视点，形成具身化的叙事视角，基于纸质书叙事视角与空间尺度、空间结构的呼应关系，创设扩展现实互动的空间导航原则。

未来随着元宇宙出版和人工智能的发展，实体出版物和扩展现实内容将会以更紧密的方式互相融合，而不仅仅是两者的缝合拼接。扩展现实科普童书目前仍然是以实体图书为主体，以扩展现实内容为辅助，也许未来在人工智能技术的加持下，元宇宙教育或出版平台内的科普童书，可能会去实体化并加强游戏化的特点，读者或将创建自己在故事中的虚拟形象，与故事中的角色互动或进行虚拟实验。另一种方向也许是以实体图书作为接口，与虚拟博物馆、图书馆、教育机构相连接，儿童将会获得更加纵深的知识体验。综上所述，从可供性视角思考未来科普童书交互叙事还是一个方兴未艾的领域，有待更多研究者继续挖掘。

注 释

[1] Koenitz， H. Understanding Interactive Digital Narrative： Immersive Expressions for a Complex Time[M]. London：Routledge，2023：64-68

[2] Marie-Laure Ryan. Possible Worlds， Artificial Intelligence， and Narrative Theory[M]. Bloomington：Indiana University Press，1991：31-35

[3] R E Cardona-Rivera. Narrative Affordance： Towards A Model of The Foreseeability and Perceivability of Story Elements in An Interactive Narrative[C].  Proceeding of the 6th International Conference on Fundations of Digital Games，2011：250-251

[4] J J Gibson. The Ecological Approach to Visual Perception[M]. Boston：Houghton Mifflin， 1979：12

[5] R M  Young. Cognitive and Computational Models in Interactive Narrative. Cognitive Systems[M]. Psychology Press，2005：24

[6] Gaver W W. Technology affordances[C].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems，1991：4

[7] L Avraamidou. The role of Narrative in Communicating Science[J]. Inrternational Journal of Science Education，2009（12）：25

[8] 李萌，徐迎庆. 实体交互叙事视角下的信息设计研究[J].装饰，2021（9）：24-28

[9][11] Kress， G. Multimodality： A Social Semiotic Approach to Contemporary Communication[M]. New York：Routledge，2009：54-64

[10] 祁芬芬.多模态话语分析下我国原创绘本中传统艺术的视觉叙事研究[J].出版科学，2022，30（3）：43-50

（收稿日期：2023-06-15）