AAAIFeb, 2021

CHEF: 跨模态层次嵌入用于食品领域检索

PDF
TL;DR本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。
multi-modal datavisual-linguistic associationcross-modal learning frameworktree-structured long short-term memorycross-modal retrieval
发现论文，激发创造
  • 烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

    本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

    Apr, 2018

  • 层次变换器与自监督学习优化跨模态菜谱检索

    本研究针对跨模态食谱检索任务，提出一个基于端到端模型的层级食谱 Transformer，使用自我监督损失函数在图像和食谱样本上训练，取得了 Recipe1M 数据集上的最佳性能表现。

    Mar, 2021

  • 跨模态食品检索：使用语义一致性和注意机制学习食品图片和配方的联合嵌入

    本文提出了一种名为 Semantic-Consistent and Attention-based Networks (SCAN) 的方法，可解决在跨模式食品数据中存在的内在方差大和间方差小的问题以及获取区分性食谱表示的难点，其目的是学习图像和食谱的嵌入，使相应的图像 - 食谱嵌入彼此靠近，然后在大规模的 Recipe1M 数据集上评估了该方法的性能，并表明它在食品图像和烹饪食谱的交叉检索方面优于几种最先进的策略。

    Mar, 2020

  • 利用潜变量模型拉近烹饪食谱和菜肴图像之间的跨模态差距

    本文介绍一种通过 “模态一致嵌入网络” 实现食品图片与烹饪配方的跨模态检索的方法，旨在提升健康应用领域中的食品检索技术。经过广泛的实验结果证明，该方法在 Recipe1M 数据集上表现优秀并且需要较少的计算成本。

    Apr, 2020

  • 使用对抗网络学习跨模态嵌入，用于烹饪食谱和食物图像

    研究了食品领域跨模态检索的开放性研究任务，提出了一种新的框架 Adversarial Cross-Modal Embedding（ACME）来解决这个问题，通过三元组损失和有效的采样策略学习公共嵌入特征空间，并实现模态对齐、跨模态翻译一致性等多种模型，取得了基准 Recipe1M 数据集的最先进性能。

    May, 2019

  • Recipe1M+: 面向学习烹饪食谱和食物图像的跨模态嵌入数据集

    本研究介绍了 Recipe1M+，这是一个包含超过一百万个烹饪食谱和 1300 万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像 - 食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索 Recipe1M + 数据集以及食品和烹饪提供基础。

    Oct, 2018

  • 多模式烹饪工作流程构建用于食谱

    利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

    Aug, 2020

  • 跨模态检索和合成（X-MRS）：在共享表示学习中弥合模态差距

    提出一种计算食品分析的方法，该方法结合了多模态共享表示学习和多语言翻译，包括转换器和图像嵌入技术，通过学习数字配方和图片的联合语义来生成美食图像。

    Dec, 2020

  • 烹饪情境下的图像和菜谱检索

    本文基于机器学习技术，提出了一种用于大规模检索任务的图片 - 食谱对齐方法，并在 Recipe1M 数据集上进行了实验，取得了最先进的成果。

    May, 2018

  • 预定义的食品概念和食谱专用嵌入：异构食谱数据集的案例研究

    文章介绍了如何从不同来源的食谱数据集中提取所需信息并对其进行格式标准化，从而实现对营养成分的预测。使用命名实体识别和外部领域特定资源进行转换，生成具有预定义成分及食谱嵌入的语料库，并应用于机器学习流程，得到了比基准段表现更好的结果。

    Feb, 2023