陶 霄，朱 焱，李春平

（1.西南交通大学 信息科学与技术学院，成都 611756；2.清华大学 软件学院，北京 100084）

0 概述

随着社交媒体的不断发展，在微博、Twitter 等社交平台中转发即时新闻和热点事件已成为一种趋势。基于社交网络平台的即时性、互动性、便捷性等特点，信息以文本、图片等多种模态呈现，并迅速广泛地传播。另一方面，由于社交媒体的上述特性，每天有海量的文字或图片信息被发布，真实信息和谣言混杂在一起，网络平台很难对谣言或虚假新闻进行有效监管，若谣言被用户随意转发，很可能造成严重的社会问题。在2019 年12 月，社交媒体上有人发文称武汉8 名新冠肺炎病人挖墙逃走，引发了一定的社会恐慌，而实际上是一名疑似患者打穿夹板墙壁逃出病区，经检查后排除其患新冠肺炎。因此，谣言检测对改善社交媒体的生态和维护社会治安稳定具有重要意义。

早期的谣言检测大多是从相关的文本信息中提取手工特征进行分类，如CASTILLO 等［1］初次使用机器学习算法进行谣言的检测，统计了标点符号、单词个数等文本特征，使用决策树进行分类。近年来，随着深度学习的发展，较新的谣言检测研究多数是基于深度学习网络进行分类［2-3］。由于目前社交媒体内容的多样性，用户分享信息更多是以图文共存的形式，因此可以结合多个模态进行学习，有助于提升谣言的分类准确性。由于每个模态的结构不同，选择高效的特征提取方法对各个模态特征进行有效的融合是多模态谣言检测中不可避免的问题。……