蒋国芝，左劼，孙频捷

（1.四川大学计算机学院，成都610065；2.上海政法学院，上海200000）

0 引言

随着人们生活水平的不断提高，人们对健康以及饮食的关注度也日益增长。由于美食网站的涌现，如下厨房，美食杰等，食物相关的研究也受到了越来越多人的重视。由于这类美食网站是对任何注册用户开放的，对于食谱描述以及食物图像都没有要求与限制，所以这类网站的食谱描述不一定准确详尽，食物图像也不一定和食谱描述最后生成的一致。因此食物计算（Food Computing）[1]中的一个重要子领域就是跨模态检索（Cross-Modal retrieval）。跨模态检索是以一种模态的数据检索得到另外一种模态的数据，这两种模态的数据是异质，在跨模态检索在食物计算里面，是以食物图像检索烹饪食谱或者以烹饪食谱检索食物图像。

1 相关工作

食物计算对生活、日常行为、健康、文化、农业都有深远影响。食物计算从不同的数据源（如社交网络、食谱网站、相机等）以不同的方式获取并分析异质食物数据，以进行食物的感知、识别、检索、推荐、监控等任务。食物相关的数据类型可以分为美食照片、食谱标题、食物成份、烹饪指示、食物类别、食物风味，食物日志、餐馆相关的食物信息等[1]。食物计算的总体框架如图1 所示。

图1 食物计算总体框架[1]

随着多媒体数据的快速增长，食物相关的搜索引擎对于获得所需的食物信息是必要的。跨模态检索是食物计算里面的一个重要子领域。该领域任务用到食物数据类型有……