刘芷彤 魏仁兴 贺静

(福建商学院传媒与会展学院/现代会展产业智能化服务协同创新中心 福建福州 350012)

1 引言

2021年是元宇宙元年，接着2022年大模型技术爆发，技术的发展和普及为会展生产设计提供了更多可能性。尤其是多模态技术和元宇宙概念的引入，使得会展生产设计得以突破传统界限，向更加沉浸化和交互化的方向发展。多模态技术是指运用多种感官和通道进行交流和交互的技术，在会展设计中应用多模态技术能为用户提供更丰富、更立体的体验感。元宇宙是由无数个3D虚拟空间组成的网络，每个人都可以在其中创造设计自己的角色，与他人进行交流和互动，也可以生产设计出元宇宙产品。在元宇宙会展中，设计不仅是展台，也是场景和活动的设计，设计师可以构建一个沉浸式的虚拟空间，用户可以在其中亲身体验展品，与展品进行交互，从而更好地理解和掌握展品的特点与功能。会展活动不仅是展示展品的过程，更是信息传播和交互的过程。多模态技术的应用可以让信息传播更加生动、形象、具体，同时还能增加用户与展品之间的互动，提高用户的参与度和体验感。大模型驱动的人机交互革命正改变着我们的生活和工作方式，使得人类与计算机之间的交互更加自然、智能和高效。随着大模型技术的不断发展和应用，更加智能化和普及化的人机交互体验推动人类社会的数字化转型和进步[1]。同样多模态技术将为会展行业带来革命性变革。

2 元宇宙主体活动与场景多模态技术

2.1 沉浸理论的活动主体状态与多模态技术发展

匈牙利心理学家 Mihaly Csikszentmihalyi(1987)首次提出沉浸理论(Flow Theory)，他认为人们完全沉浸在活动中，忘记了周围的环境和时间的流逝；人们感到自己的技能和挑战之间达到了平衡，这种平衡是心流状态的关键；人们感到自己的行动和意识融为一体，没有明显的自我意识；人们会感到自己的平常能力得到了提升，往往会在活动中展现出超常的技能和表现[2]。这些研究很好说地明了元宇宙会展参与者沉浸体验的可能状态。也给元宇宙场景设计者和生产者启示，沉浸体验为主观且暂时的经验，这也是个人愿意继续进行某种活动的原因。沉浸理论主要探讨人们如何通过感官体验融入某一情境中，在此过程中忘记自我，完全沉浸在情境中。在会展设计中，沉浸理论的应用有助于设计出更具吸引力和沉浸感的空间。这正是沉浸式会展设计的核心理念，以沉浸理论为指导，让参与者沉浸在多模态会展环境中，提高会展活动的吸引力和参与度。但要实现与现实一致的虚拟环境，多模态是元宇宙场景必要的基础，为此，对多模态技术的要求越来越苛刻。

模态指的是事物发生或被体验的方式，当一个研究问题包含多种这样的模态时，它就被称为多模态[3]。多模态技术是指运用多种感官和通道(如视觉、听觉、触觉等)进行交流和交互的技术。在会展设计中，多模态技术能为用户提供更丰富、更立体的体验，使参与者不仅能看到展品，还能通过触摸、嗅觉甚至味觉等多种方式感知展品。例如，多模态技术可以运用在会展的视觉设计中，通过鲜明的色彩、独特的造型和动态的视觉效果，吸引参与者的注意力；在触觉设计中，多模态技术可以实现展品的互动操作和体验，让参与者有更真实、更立体的感受；在听觉设计中，多模态技术可以运用语音讲解、背景音乐等多种方式，提供更丰富的会展体验。沉浸理论和多模态技术的应用将为会展设计带来重大变革。传统的会展设计往往只注重展品的展示和宣传，而忽略了参与者的体验和交互。而沉浸式会展设计通过将参与者融入具体情境中，使其成为会展活动的一部分，从而增强其参与感和体验感。同时，多模态技术的应用不仅丰富了会展设计的表现形式，还为参与者提供了更全面的信息和感知。

2.2 元宇宙会展主体的临场感、沉浸感与参与感

沉浸式网络体验是元宇宙最重要的一大特点。作为一种技术手段，元宇宙本质是“沉浸”的[4]。有学者认为，从沉浸体验感受形式可大致分为心理沉浸、外置技术沉浸、内置技术沉浸、意识沉浸[5]；但整体上元宇宙主要体现为临场感、沉浸感和参与感。

首先，元宇宙会展的临场感。元宇宙通过全息技术、虚拟现实等技术，使用户仿佛身临其境，完全沉浸在虚拟世界中。用户可以与虚拟世界进行互动，甚至感觉就像在现实世界中一样。随着全息投影技术普及及成本下降，全息投影技术可以在元宇宙中呈现出逼真的三维图像，让用户感觉像物体在眼前一样。这种技术可用于呈现各种逼真的场景、人物和物体，使临场感更为真实，主要体现为三个方面，一是细节的逼真度，元宇宙通过高分辨率、高精度的3D建模技术，可以呈现出非常逼真的细节表现，如物体的纹理、光影、质感等。这些细节能够让用户感觉像真正身处该环境中；二是视野的广阔度，元宇宙可以实现广阔的视野，让用户可以看到更广阔的场景和更丰富的细节。例如，用户可以在元宇宙中看到整个城市的全貌，或者从太空俯瞰整个星球；三是交互的实时性，元宇宙中的物体和场景可根据用户的动作和指令实时地做出反应和变化，这种实时性也能够增强用户的临场感。

其次，元宇宙会展的沉浸感。元宇宙通过技术手段如全息技术、模拟现实技术等，使用户在虚拟世界中的体验与现实世界相差无几，甚至在某些方面超越现实世界。这主要体现为空间沉浸，即元宇宙通过全息技术、虚拟现实等技术，使用户仿佛身临其境，完全沉浸在虚拟世界中。用户可与虚拟世界进行互动，甚至感觉就像在现实世界中一样。另一个是时间沉浸，元宇宙中游戏娱乐产业化将围绕用户的数字身份展开，在时间上提高了用户内容生产和编辑世界的自主性。这种自主性使用户可以更好地掌握自己的行动和决策，从而增强沉浸感。还有情感沉浸，元宇宙提供了用户共同参与、共同治理的虚拟共享空间，并形成孪生于现实世界却又高于现实世界的社会关系，在情感上将用户的沉浸感升级至心理认同的层次。这种共同参与和治理过程使用户可以更好地融入虚拟世界，从而增强沉浸感。最后体现为具身交互性，元宇宙中的交互方式更加多样化和真实化，用户可通过各种方式与虚拟世界进行交互，例如，通过手柄、传感器等设备进行操作，或者通过语音、手势等方式进行交互。这些多样化的交互方式使用户可以更加自然地与虚拟世界进行互动，从而增强沉浸感。总之，元宇宙沉浸感的具体体现主要通过空间、时间、情感和具身交互等方面来实现，这些方面共同作用使用户可以更好地融入虚拟世界中，并获得更加真实和深刻的体验。

最后，元宇宙会展的参与感。元宇宙中的虚拟世界与现实世界高度相似，用户可在其中进行各种活动，如社交、学习、娱乐等，从而产生强烈的参与感。在一个元宇宙会展场景中参展商、专业观众和其他参与者都有数字身份，这个数字身份可以是一个与自己在现实世界中不同的虚拟形象，也可以是一个独特的数字化身。通过这个数字身份，用户可以参与元宇宙中的各种活动，如社交、游戏、创作等，从而增强参与感。元宇宙会展本身就是一个虚拟展会社区，这个社区可以让人们实现交流、分享、合作、商务活动等。用户可以在这个社区中结交新朋友，分享自己的创意和经验，或者参与各种有趣的活动。这种社区的互动性可以增强用户参与感，对于元宇宙而言，设计师既是策划组织者，也是劳动者，元宇宙会展场景提供了无限可能的创意工坊，这个工坊可以让用户自由设计和创造自己的虚拟产品、场景、服装等。用户可通过这个工坊展示自己的创意和才能，也可与其他用户分享自己的作品。这种创造性的活动可以增强用户的参与感。元宇宙会展的参与感不仅停留在一般社交上，还体现在经济活动上，也就是说元宇宙会展本身就是一个经济系统，这个系统可以让用户进行虚拟产品的交易和买卖。用户可以通过这个系统购买或出售自己需要的虚拟产品，也可以与其他用户进行商业合作，这种经济活动可以增强用户的参与感。

总的来说，元宇宙结合沉浸理论可以为用户提供一种全新的、高度逼真的虚拟体验，使用户仿佛身临其境地进入一个全新世界。同时，这种体验也可以帮助用户更好地理解现实世界，并从中获得更多知识和技能。

3 元宇宙会展主体与客体多模态交互

元宇宙是近年来新兴的概念，它指的是一个由无数个3D虚拟空间组成的网络，每个人都可以在其中创造自己的角色，与他人进行交流和互动。在元宇宙会展设计中，特别是大模型与虚拟数字人结合，设计师可以构建一个全年365天、每天24小时开放的虚拟世界，允许用户随时随地参与其中。通过多模态技术，用户可以在这个虚拟世界中感知到各种展品，获得丰富的体验。随着元宇宙技术的不断发展和应用，元宇宙会展也将迎来更加广阔的发展前景。未来，元宇宙会展的应用范围将会体现在多个方面。

3.1 要素多样导致交互展示方式多样化

元宇宙会展不改变线下会展的要素，反而增加了场景内的要素与主体选择，导致主客体交互有天文数字级的表现方式。

首先，增强现实(AR)和虚拟现实(VR)技术在会展中广泛应用与参与者各自知识背景结合产生的多样化现象。利用AR和VR技术，可以将展品或场景以更真实、更立体的方式呈现给观众，通过头戴式设备或手持设备，观众可以更加深入地投入虚拟展览环境中，感受沉浸式的视觉冲击。2015年，magic leap公司演示了一条从体育馆跃出的鲸鱼，就是AR技术的典型应用。在我们平时日常生活中，使用特定3D模型滤镜自拍所产生的特效更是AR技术随处可见的应用。通过虚拟现实(VR)、增强现实(AR)等技术的集成应用，听觉、触觉、视觉等人体感官在元宇宙世界得以重新模拟，感官的全方位连接给身体带来了超越现实的体验，技术与身体的深度融合产生“身心一体”的沉浸状态。 此外，人工智能技术创造出“数字”身体，即用户在元宇宙中会拥有与现实世界相对应的虚拟“化身”，作为“远程身体”代替“我们”在元宇宙中广泛参与各种数字交往活动，实现与商品、建筑、购物等数字元素的跨时空交互。

其次，三维扫描和打印技术局部应用导致新事物涌现。通过三维扫描技术，可将现实中的物体或场景进行数字化复制，观众可以在虚拟环境中观察到与真实世界极其相似的展品或场景。而三维打印技术则可将虚拟的展品或场景以实体方式呈现出来，让观众能够触摸和感受展品的质感。也可以直接打印出设计者的作品，承办企业的礼品，甚至可以把元宇宙会展场景物化、固化。

再次，交互式多媒体技术普遍应用使元宇宙呈现的方式更加真实。利用交互式多媒体技术，观众可以通过手势、动作、声音等方式与展品或场景进行互动，如通过语音指令控制展品的展示、利用手势控制视频的播放等。特别是交互式触摸屏技术可以让观众通过触摸屏幕与展品进行互动。观众可通过触摸屏上的图标或按钮来操作展品，如播放视频、查看图片等。这种技术可以提高观众的参与度和互动性，增强展示效果。

最后，多屏幕和投影技术多场合应用改变了事物的呈现方式。通过多屏幕和投影技术的应用，可以将不同展品或场景以不同的方式展示出来，如通过多屏幕展示多个角度的展品、通过投影技术在墙壁或天花板上展示大型展品或场景等。通过多屏幕展示，可以同时展示多个角度的展品。这些屏幕可以拼接在一起，形成一个大型展示墙，或者放置在不同的位置，让观众可从不同的角度观看展品。多屏幕展示可以呈现出更加丰富的展示内容，包括图像、视频、文字等，让观众更加全面地了解展品的特点和优势。投影技术在墙壁或天花板上展示大型展品或场景是一种非常具有视觉冲击力的展示方式。通过高清晰度的投影仪，将展品或场景投射到墙壁或天花板上，让观众可以从不同角度观看。这种方式可以呈现出非常逼真的展示效果，让观众感受到身临其境的沉浸式体验。

这些展示方式多样化的表现形式，使得会展的展示效果更加生动、形象、具体，吸引观众注意力，提高观众的参与度和体验感。同时，这些技术也可以实现更快速的信息传播和更广泛的受众覆盖，为会展活动带来更大的商业价值和社会影响力。

3.2 主体参与者与客体要素交互方式自然化

多模态技术带来的沉浸式会展设计将促进交互方式的自然化。传统的会展交互方式往往需要用户进行烦琐的操作，如点击、滑动等，而多模态技术可通过感知用户的动作、语音、手势等自然交互方式，实现更加直观和自然的交互体验。交互方式自然化是指通过技术手段，让用户在与计算机或其他设备进行交互时，感到与日常操作无异，不改变原有的行为习惯与操作理念。在会展设计中，交互方式自然化可通过多模态技术实现，如感知用户的动作、语音、手势等自然交互方式，实现更加直观和自然的交互体验。语音交互是一种非常直观和自然的交互方式。参观者可通过语音控制展品，询问相关信息或与其他参观者进行交流。这种交互方式可以减少用户对传统输入设备的依赖，使用户可以更加自由地与展品进行交互。手势控制也是一种非常直观和自然的交互方式。参观者可通过手势操作展品，实现更加直观和自然的交互体验。例如，参观者可通过手势旋转、放大或缩小展品，或者通过手势控制展品的展示方式。身体交互是指通过身体的动作与计算机或其他设备进行交互。参观者可通过身体控制展品，如通过身体的姿势控制展品的移动和旋转。这种交互方式可以让参观者更加自然地与展品进行交互，增强参观者的参与感和体验感。感官交互是指通过刺激用户的感官，增强用户的交互体验。例如，通过香气、灯光、音乐等方式增强参观者的感官体验，或者通过触觉刺激让参观者感受到展品的质感和温度。这种交互方式可以让参观者更加沉浸于展品和场景中，提高参观者的体验感。

总之，交互方式自然化是多模态技术带来的沉浸式会展设计的一个重要趋势。通过感知用户的自然交互方式，可以实现更加直观、舒适和沉浸式的交互体验，增强参观者的参与感和体验感。同时，交互方式自然化也需要技术的不断发展和完善，以便更好地满足用户需求和提高用户满意度。

3.3 参与者体验方式个性化

多模态技术还将推动元宇宙会展体验方式的个性化。在传统的会展中，参观者的体验往往是被动式的，只能跟随导游或自行浏览展品。而通过多模态技术和大数据分析，元宇宙会展可以针对每个参观者的兴趣和需求，提供个性化的体验服务。可以设置定制化导览服务，通过分析参观者的浏览记录和兴趣爱好，设置服务内容，参观者可以自定义导览路线或选择特定的展品进行详细浏览。此外，导览服务还可以提供相关展品和行业信息的推荐，以帮助参观者更加深入地了解相关内容；在元宇宙会展中，参观者还可以创建自己的虚拟角色，并通过这个虚拟角色与其他人进行交互和交流。虚拟角色可根据参观者的喜好和兴趣进行定制，如服装、发型、肤色等，以更好地满足参观者的个性化需求；实现互动方式个性化，通过多模态技术，参观者可以选择自己喜欢的交互方式与展品进行互动。例如，参观者可选择通过语音控制、手势控制、身体姿态控制等方式操作展品，以满足自己的使用习惯和需求。最后是个性化展示方式，例如，对于喜欢艺术的参观者，可以展示展品的艺术元素和细节；对于喜欢实用的参观者，则可以强调展品的功能和实用性。

元宇宙会展还具有跨平台和跨地域的特点。未来，元宇宙会展将越来越注重利用这一特点，实现多地联动的展示和互动，通过元宇宙技术实现线上线下融合,线上线下交互将极大地拓展元宇宙会展在全产业链的应用，将真正实现互联网就是一个有界面的会展[7]。随着元宇宙会展的不断发展，将逐渐形成完整的产业链和生态系统，包括硬件设备、软件开发、内容创作、服务运营等多个环节的融合与协同，为元宇宙会展的健康发展提供更加全面和有力的支持。

4 多模态技术在元宇宙会展的场景应用

在传统的会展中，观众通常只能通过简单的观看、听讲等方式了解展品信息，无法进行深入交互和沉浸式体验，这就限制了观众的参与度和体验感。而在元宇宙中，虚实相融交互技术可以打破这种限制，为参观者提供更加多样化的参观体验。虚实相融交互技术的应用涵盖多个方面，在包含如文本、语音、图像、触觉甚至嗅觉的多模态信息系统中，这些要素融合会产生多种应用场景，尽管设计模式标准化尚未统一，但在元宇宙中不断涌现出新的产物与场景，世界将更加多彩多样。

4.1 虚拟展厅设计

虚拟展厅是元宇宙会展的核心。通过虚拟现实技术，可以在元宇宙中创建出高度真实的虚拟展厅，为参观者提供身临其境的展览体验。在虚拟展厅设计方面，需要考虑多方面因素。首先是展厅的布局，需要考虑展厅大小、展区划分和展品摆放等因素，以保证展品展示的合理性和互动性；其次是展厅的环境，需要考虑光线、声音等因素，确保参观者可以获得最佳虚拟体验；再次是利用增强现实技术将展品与虚拟展厅结合起来，让参观者可以更加自由地进行互动。例如，可设置虚拟实验室，让参观者可以亲自体验展品，并通过虚拟现实设备观察实验结果。此外，还可以设置虚拟游戏区，让参观者在游戏中了解展品背后的知识和文化。在全景图中，通过拍摄或渲染技术将一个场景的全景图像呈现给用户，提供360度无死角的视角，使用户能够全方位观察场景，获得更真实的视觉体验。比如，在住交会可以建设全景数字地产展厅，客户可在线上参观样板房，或者通过全景技术，呈现出实景的房子和周边的环境，可以让客户更直观地了解房子和周围的环境，提前感受居住体验。

4.2 虚拟展览导览

虚拟展览导览是指利用虚拟现实技术为参观者提供更为深入、全面的展览体验。主要有文字描述、音频解说、VR全景导览、动画演示等，在虚拟展览导览中可通过文字描述对作品名称、作者、创作时间、主题、风格、技法等做详细介绍，为每个展品提供音频解说，为每个展区提供全景图像，观众可通过头戴式显示器或手机进行观看。在观看过程中，观众可以自由调整视角、放大/缩小图像，甚至与展品进行互动。一些虚拟展览导览会使用动画技术来展示展品的制作过程或历史背景、背景知识。

总之，在元宇宙中，参观者可利用虚拟现实设备进行虚拟导览，深入了解展览的各个部分。

4.3 虚拟会议交流

虚拟会议交流是指利用虚拟现实技术在元宇宙中创建虚拟会议室，为参会者提供远程交流平台。虚拟会议室可通过虚拟现实设备进行访问，参会者可以在其中进行远程视频会议，实现线上交流。

在虚拟会议交流方面，需要考虑多方面因素。首先是会议室的设计，需要考虑会议室的大小、布局和功能。会议室可设置多个会议室区域，方便不同会议同时进行；其次是音视频设备的配置，需确保音视频质量良好，保证参会者可以畅快地进行交流。同时，还需要考虑虚拟会议的安全性，防止信息泄露和攻击。虚拟会议还可结合场景设置展览区域，让参会者可以在会议间隙进行虚拟参观，增强会议的互动性和趣味性。此外，也可以设置虚拟商务区域，为参会者提供虚拟商务展示、交流等服务，促进商务合作。

4.4 虚拟演艺活动

虚拟演艺活动是指利用虚拟现实技术在元宇宙中创建出虚拟演艺场地，为参与者提供全新的演艺体验。虚拟演艺活动可结合现实中的演艺活动或创造全新的虚拟演艺形式，如虚拟音乐会、虚拟话剧、虚拟展览演讲等。虚拟演艺活动是一种新型演艺形式，它综合运用了虚拟现实、增强现实、人工智能等高科技手段，创造出全新的演艺空间和表演形式，为观众提供沉浸式演艺体验。首先，虚拟演艺活动的内涵在于其突破了传统演艺活动的限制，将观众带入一个全新的虚拟世界中，实现了一种全新的演艺体验。这种全新的演艺体验不仅包括视觉、听觉等感官刺激，还包括与观众的互动和交流，让观众能够更加深入感受到表演的艺术魅力；其次，虚拟演艺活动对演艺行业产生了深远影响。一方面，虚拟演艺活动为演艺行业提供了更多可能性，让演出人员和观众能够突破时间和空间限制，实现更加灵活和多样化的演艺形式。另一方面，虚拟演艺活动也给演艺行业带来了新的挑战，例如如何保护知识产权、如何保证演出质量和效果等；最后，虚拟演艺活动还对社会的文化生活产生了影响。虚拟演艺活动的出现改变了观众的文化消费方式，让观众能够更加方便地获取各种文化产品和服务。同时，虚拟演艺活动还促进了文化创意产业的发展，推动了文化产业与科技的融合。

4.5 虚实融合展品及世界

现代物联网技术、区块链技术、交互技术、网络及运算技术、人工智能技术、电子游戏技术等高科技融合所建立的元宇宙，不仅能创造设计出现实中的产品(展品)，这些产品聚集在不同场景中，构成了无数虚实融合世界，主体面对的客体内容越来越丰富，虚实融合世界正逐渐改变着我们对会展和营销的认知和参与方式。以网易瑶台与河南省文化和旅游厅联合举办的元宇宙创造者大赛为例，这个大赛运用数字科技复刻了物理世界场景，构建了多个河南头部文旅IP的数字空间，这些场景的再现能使用户沉浸其中，仿佛身临其境地参观河南的著名景点。虚实融合世界的展示和交互方式为会展带来了全新的视角和机遇。一方面，虚实融合会展可以在元宇宙中创造出现实世界无法实现的展示效果，例如，在虚拟空间中呈现出历史事件的场景，或者将全球各地参展者聚集在一个虚拟空间中进行交流和互动。另一方面，虚实融合会展也可以改善现实会展中存在的问题，如人流过大、空间限制等，这些问题在虚拟世界中可以迎刃而解。

虚实融合世界需要更加深入的技术研发和创意设计。首先，虚拟角色的创作需要更加精细和逼真，以便让用户感受到更加真实的沉浸式体验；其次，虚实交互需要更加智能和便捷，以便用户更加轻松地与其他用户进行交流和互动。此外，虚实融合世界还需要建立起完善的技术标准和规范，以便为元宇宙的持续发展提供更加稳定和可靠的技术支持。

在虚拟现实中，创意者或设计师可以创造出现实世界无法实现的场景和体验，参与者与设计师可以在虚拟空间构建和测试各种可能的设计方案。同时，虚实融合也为设计师提供了更广泛的目标用户群体，例如一个虚拟产品的设计可以同时面向全球的用户。管理者、参与者、设计师会出现新的协同方式，设计者可通过设计改善用户在虚拟环境中的导航和交互体验，而管理者则需要通过管理确保虚拟世界的各种服务和功能能够有效提供给用户。参与者本身可作为消费者参与建设，在元宇宙的虚拟空间中进行项目协作，团队成员可以在虚拟环境中共同工作，这也需要管理者重新思考和制定新的管理和协调策略。此外，虚拟世界也需要管理者能够有效管理和协调虚拟和现实两个世界中的各种资源。

5 结语

综上所述，元宇宙作为新兴的技术领域，为会展行业提供了无限可能性。特别是多模态技术的成熟，通过将现实世界与虚拟世界的元素高度交互和融合，运用沉浸理论和多模态技术设计元宇宙会展，能够为参展者提供一个沉浸式、超越物理限制的交流平台，多模态技术使沉浸体验技术应用更加自然流畅，不仅有助于提升参展者的体验，还能帮助会展组织者提供更加便捷、高效的交流与互动。此外，通过将多模态技术融入会展设计，我们可以更好地理解参展者的需求和行为，以便提供更具针对性的服务。元宇宙会展仍是一个处于发展初期的研究领域。未来，我们还需要进一步探索如何利用这些技术提升会展的参与度、互动性和体验。同时，我们也需要考虑如何保护知识产权、确保数据安全及规范行业标准等问题。