张德禄 张兢田

(同济大学，上海 200092)

多模态语法建构问题探索*

张德禄 张兢田

(同济大学，上海 200092)

我们根据符号系统的层次、类型和维度探讨多模态语法建构中的主要问题，力图澄清哪些符号系统适合建构语法，以及要为每个适合建构语法的符号系统单独建立语法还是建构一个同类符号系统共享的语法。研究发现，从不同层次的符号系统着眼，只有3个层次的符号系统才有可能建立语法；从类型角度讲，图像符号以及某些能指和所指关系易于推断的索引符号，一般情况下没有必要建立语法；从维度角度讲，不同维度的符号系统具有不同的语法模式和系统。所以，在起始阶段，应该为每个适合建构语法的符号系统单独建构语法。

多模态语法；符号系统；层次；类型；维度

The present article is intended to investigate the issues in the construction of multimodal grammars according to level, type and dimension of the semiotic systems, and make clear which semiotic systems are appropriate for the construction of multimodal structural grammar, and whether we should construct a structural grammar for each semiotic system which is appropriate for the construction of multimodal structural grammar, or for all semiotic systems of the same type. It is found that, in terms of level of the semiotic systems, only three-level semiotic systems are appropriate for the construction of a multimodal structural grammar; in terms of type of semiotic systems, generally speaking, it is not necessary to construct a structural grammar for the semiotic systems of the iconic type, and those of the indexical type whose relation between the signifier and the signified is easy to recognize; in terms of dimension of the semiotic systems, those of different dimensions exhibit different grammatical patterns and systems, so it is necessary to construct a separate structural grammar for each semiotic system which is appropriate for the construction of a structural grammar, at least at the initial stage.

1 引言

从系统功能语言学的角度讲，多模态话语分析理论是基于Halliday的“语言是社会符号” (Halliday 1978)的论断发展起来的。除了语言之外，其他符号系统也具有表达意义的功能。我们研究语言如何表达意义的一个主要方式是研究语言的语法。那么，如果能够像研究语言那样研究其他模态的语法，一方面，我们可以通过研究语法认识其他的符号系统；另一方面，我们还可以探讨不同符号系统在多模态话语中如何共同体现意义。

基于这种思想，有些学者已经从社会符号学的角度，借用Halliday系统功能语言学的3大元功能的思想，探讨视觉模态的语法。例如，O’Toole (1994)认为展示艺术品也同样实现3种意义，分别是表现意义(representational meaning)、情态意义(modal meaning)和组成意义(compositional meaning)。……