喻国明 陈雪娇 修利超

[提要]从插图、字幕、弹幕再到现在的AR/VR、H5，单一模态的媒介表达形式越来越难以满足当下社会对信息传达的需求，因此媒介载体不断升级，从更高的维度来塑造表意资源的保真度。在这个过程中，“注意”愈发成为一种稀缺资源。本研究从“字幕”这个细小点切入，立足于交叉学科思维，结合眼动实验和行为实验，探究母语电影中的字幕对用户注意分配以及记忆效果的影响。结果显示，在字幕组别(有字幕组、无字幕组和安慰剂对照组)之间，用户对没有加工困难的母语字幕表现出高度关注，但是这种字幕偏好性并没有提高记忆效果；在画面和文本之间，用户会优先加工画面信息，但是记忆测试结果显示用户对文字的记忆效果更好。

媒介作为信息传达的载体，在技术发展的过程中不断实现组织化、结构化升级。从单媒体、多媒体再到融媒体、智媒体，过去单一模态的媒介表达形式已难以满足传播者对意义传达的需求，因此产业不断升级，发展出更高维度的媒介载体来补充、协同、强化信息传输过程中表意资源的丰富性以及保真度。在此背景下，由言语以及非言语等表意系统所建构的多模态话语成为当下社会实践的重要形式。[1]

多模态话语系统的发展势必会带来用户信息接受方式的变化。技术变革了媒介内容的呈现形式，用户的感官系统适应性地得到“延伸”。在加工如报纸、广播等单一模态的媒介内容过程中，用户主要依靠视觉模态或者听觉模态等单一感官通道来与外界进行信息交换；……