毕以镇，马焕，张长青

增广模态收益动态评估方法

毕以镇，马焕，张长青*

（天津大学 智能与计算学部，天津 300350）（ ∗ 通信作者电子邮箱zhangchangqing@tju.edu.cn）

针对获取新模态难度大、收益差异大的问题，提出了一种增广模态收益动态评估方法。首先，通过多模态融合网络得到中间特征表示和模态融合前后的预测结果；其次，将两个预测结果的真实类别概率（TCP）引入置信度估计，得到融合前后的置信度；最后，计算两种置信度的差异，并将该差异作为样本以获取新模态所带来的收益。在常用多模态数据集和真实的医学数据集如癌症基因组图谱（TCGA）上进行实验。在TCGA数据集上的实验结果表明，与随机收益评估方法和基于最大类别概率（MCP）的方法相比，所提方法的准确率分别提高了1.73～4.93和0.43～4.76个百分点，有效样本率（ESR）分别提升了2.72～11.26和1.08～25.97个百分点。可见，所提方法能够有效评估不同样本获取新模态所带来的收益，并具备一定可解释性。

多模态分类；多模态融合；置信度估计；增广模态；表示学习

0 引言

描述现实中客观事物时，通常采用多种描述形式，如图像、文本等。在机器学习中，为了提高模型的性能，也常将多种模态数据作为输入。近年来，随着传感器成本的降低，多模态数据也越来越容易获取，许多任务面对的通常也是多模态数据，因此合理利用多种模态数据受到国内外学者的广泛关注。随着深度学习的成功应用，深度多模态融合［1］也被广泛研究和应用，并且在语义分割［2-3］、动作识别［4-5］等领域［6-8］都取得了显著的成效。……