李伊宁 王弘熠 王天任 柳 岸 赵 爽 康 健

1 中南大学湘雅医学院，湖南省长沙市 410013；2 中南大学湘雅三医院；3 中南大学湘雅医院皮肤科

近年来，基于深度学习的多模态融合技术进展迅速，它将不同模态的大量数据相互融合，利用深度学习充分显示数据之间互补的优点，摆脱单一数据中时间和空间的局限性，以便了解疾病的综合信息，保障医生决策的可靠性。

1 多模态和深度学习

所谓模态，是指人接受信息的特定方式。模态起源于人机交互领域，被定义为在特定物理媒介上信息的表示方式，如：文本、图像、声音等。医学领域常指其为不同来源的医学信息，如影像信息、病史信息、生化结果等。以往人工智能辅助医疗系统开发思路常是单模态的，通过分析单一类型的数据，建立从数据到结果的映射，从而具备所谓“智能”。然而目前常用的检查数据长期以来各自独立，单纯分析某种类型的医学数据只能得到疾病某一个方面或层次的信息，因此具有较大局限性，不能评估疾病的全局状况，这极大限制了人工智能的医疗应用。单模态面临的困难正是多模态融合的强项。多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能的方法。例如PET提供有关病变部位定量代谢信息，CT则可提供病变解剖结构信息。基于二者的模态融合打破二者固有的数据壁垒，利用特定的系列算法对采集到的数据进行处理，如此可同时从功能和结构方面刻画当前病变，为下一步的临床决策提供充分的参考。……