丁国辉，张 琦，房士超，李 青，孙小宇，，张路霞，，孔桂兰，

1.北京大学 健康医疗大数据国家研究院，北京 100191

2.沈阳航空航天大学 计算机学院，沈阳 110136

3.浙江省北大信息技术高等研究院，杭州 311215

随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善，医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式，诊断报告、多种医疗成像设备如X光、计算机断层扫描、磁共振成像、超声成像和正电子发射断层扫描产生的医学影像都被称为多模态数据。且这些多模态数据往往同时出现，互相补充[1]。如骨折的位置以及断裂的状态和程度可以用X光片来表示，也可以通过文字报告进行表示，实际临床分析中通常使用以上两种模态的数据来准确描述骨折的情况[2]。在医学领域中，这些多模态数据混合并存，形成了一种语义上相似且相互关联的复杂特征。如何跨越不同模态间底层异构鸿沟以及底层特征与其抽象语义间的语义鸿沟[3]，进而实现多模态数据间的关联是急需解决的问题。

如图1所示，医学领域多模态检索，即用一种模态的样本来检索多种模态的医学数据，如使用文本来检索与之语义相似的诊断报告、CT、X光片、MRI等多种模态的数据，是涉及机器学习、自然语言处理、计算机视觉、大数据等技术的交叉领域，具有十分重要的学术价值和研究意义[4]。放射学科医生进行诊断时，通常根据他们之前肉眼观察过的病例特征来判断，由于数据量大、经验有限等原因，不可避免会出现误诊等情况，对患者治疗的准确性留下很大的隐患。……