荣盈盈，戴培兴，阮 瑾，吴苏苏

（东华大学 外语学院，上海 201620）

随着数字化信息技术的飞速发展，一场革命已经在教育、文化、传播等领域里悄然发生，其结果就是在公共交流中，语言和文字的传统地位已经被撼动了，一种全新的多模态的话语形式已经深入到人们生活的方方面面［1］，甚至越来越多地处于突出的地位。

一、多模态话语

多模态话语是人类的生物性特征的表现，它涉及到多种感官的应用。人类可以通过不同的感官实现多重模态的交际：视觉模态（眼）、听觉模态（耳）、味觉模态（舌）、嗅觉模态（鼻）和触觉模态（皮肤）。从技术的意义上来说，多模态可解释为专指融合两种以上“传播手段、方式或载体”的、人机交互式的信息交流和传播的媒体。从符号学的意义上来说，多模态是指在交流活动中不同符号模态（semiotic mode）的混合体［2］，同时也可以表示不同的符号资源（semiotic resource）被调动起来，在一个特定的组合中共同构建意义的各种方式［3］。也有符号学者认为，判断多模态的标准有两条：一是看话语中涉及的模态种类有多少；二是看话语中涉及的符号系统有多少。虽然视觉模态只涉及了一种模态，但是其中所使用到的符号系统常常包括了文字和图像两种。因此，这种“图文并茂”的话语通常也被称为多模态话语［4］。在现实生活中，语言符号与非语言符号，如标志、图像、手势、表情和颜色等，一起形成一种更为宽泛的符号资源，它们具有相同的地位，共同参与意义建构。

二、话语多模态与认知心理

话语多模态是人类交流或人际交流的自然形态。……