APP下载

融合自注意力机制的跨模态食谱检索方法*

2020-09-13王亚沙毛维嘉赵俊峰

计算机与生活 2020年9期
关键词:模态模型

林 阳,初 旭,王亚沙,毛维嘉,赵俊峰

1.高可信软件技术教育部重点实验室,北京 100871

2.北京大学计算机科学技术系,北京 100871

3.北京大学软件工程国家工程研究中心,北京 100871

1 引言

人们日常的饮食习惯对于人们的身体健康有着极为重要的影响。随着生活水平的不断提升,人们对饮食健康的关注程度越来越高。而日常饮食摄入的记录,作为饮食管理的关键环节,更是越来越受到人们的重视[1-2]。而对某些慢性病患者(如慢性肾病患者)而言,由于其疾病治疗的需要,对营养摄入的监控更是至关重要[3-4]。

传统的饮食摄入记录工具的基本流程是,通过用户拍摄的食物图片,对食物类别和原材料种类进行预测,并进一步估计其中的营养成分含量[5-7]。然而,由于人们自制的食物的风格、外观多变,实际上得到的结果不足以支持从食物图片中进行营养含量的推定[8]。

随着互联网的发展,越来越多的人们开始将食物图片和食谱上传至社交网络和公开的食谱网站。这使得大规模的收集食物图片及其对应的食谱成为可能,也为解决饮食摄入记录问题提供了新的思路。

在大规模的食谱数据的支持下,一个新的研究方向开始兴起:食谱检索,即通过一张食物的图片在大规模的食谱中检索其对应的食谱[9-11]。被检索到的食谱中包含着食物的类别、原材料种类及用量等信息,在其基础上可以进一步进行原材料识别、营养含量估计等其他相关工作,达到饮食摄入记录的目的。……

登录APP查看全文

猜你喜欢

模态模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
3D打印中的模型分割与打包
车辆CAE分析中自由模态和约束模态的应用与对比
FLUKA几何模型到CAD几何模型转换方法初步研究
高速颤振模型设计中颤振主要模态的判断
基于HHT和Prony算法的电力系统低频振荡模态识别
由单个模态构造对称简支梁的抗弯刚度
多模态话语模态的协同及在外语教学中的体现
一个相似模型的应用