CVPRMay, 2019

使用对抗网络学习跨模态嵌入，用于烹饪食谱和食物图像

PDF
TL;DR研究了食品领域跨模态检索的开放性研究任务，提出了一种新的框架 Adversarial Cross-Modal Embedding（ACME）来解决这个问题，通过三元组损失和有效的采样策略学习公共嵌入特征空间，并实现模态对齐、跨模态翻译一致性等多种模型，取得了基准 Recipe1M 数据集的最先进性能。
food computingcross-modal retrievaladversarial cross-modal embeddingtriplet loss schemerecipe1m dataset
发现论文，激发创造
  • 跨模态食品检索：使用语义一致性和注意机制学习食品图片和配方的联合嵌入

    本文提出了一种名为 Semantic-Consistent and Attention-based Networks (SCAN) 的方法，可解决在跨模式食品数据中存在的内在方差大和间方差小的问题以及获取区分性食谱表示的难点，其目的是学习图像和食谱的嵌入，使相应的图像 - 食谱嵌入彼此靠近，然后在大规模的 Recipe1M 数据集上评估了该方法的性能，并表明它在食品图像和烹饪食谱的交叉检索方面优于几种最先进的策略。

    Mar, 2020

  • 烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

    本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

    Apr, 2018

  • CHEF: 跨模态层次嵌入用于食品领域检索

    本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

    Feb, 2021

  • 利用潜变量模型拉近烹饪食谱和菜肴图像之间的跨模态差距

    本文介绍一种通过 “模态一致嵌入网络” 实现食品图片与烹饪配方的跨模态检索的方法，旨在提升健康应用领域中的食品检索技术。经过广泛的实验结果证明，该方法在 Recipe1M 数据集上表现优秀并且需要较少的计算成本。

    Apr, 2020

  • 层次变换器与自监督学习优化跨模态菜谱检索

    本研究针对跨模态食谱检索任务，提出一个基于端到端模型的层级食谱 Transformer，使用自我监督损失函数在图像和食谱样本上训练，取得了 Recipe1M 数据集上的最佳性能表现。

    Mar, 2021

  • 使用 Transformer 进行跨模态食谱嵌入及大批量训练

    本文提出了基于 Transformer 神经网络的大批量训练 (TNLBT) 的跨模型食谱检索框架，并应用层次 Transformer 的食谱文本编码器、Vision Transformer 的食谱图像编码器和对抗网络架构来实现更好的食谱文本和图像的交叉嵌入学习。同时利用自监督学习来挖掘不具备相应图像的食谱文本中的丰富信息，结果验证了使用大批量训练对跨模型食谱嵌入的有效性。在实验中，该框架显著优于当前的最先进跨模型食谱检索框架。

    May, 2022

  • Recipe1M+: 面向学习烹饪食谱和食物图像的跨模态嵌入数据集

    本研究介绍了 Recipe1M+，这是一个包含超过一百万个烹饪食谱和 1300 万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像 - 食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索 Recipe1M + 数据集以及食品和烹饪提供基础。

    Oct, 2018

  • 烹饪情境下的图像和菜谱检索

    本文基于机器学习技术，提出了一种用于大规模检索任务的图片 - 食谱对齐方法，并在 Recipe1M 数据集上进行了实验，取得了最先进的成果。

    May, 2018

  • 跨模态食物检索的多模态正则化 Transformer 解码器

    本研究提出了一种名为 T-Food 的跨媒体图像 - 食谱检索框架，利用多模态正则化技术，从而在测试时使用单模态编码器进行高效检索，可以捕捉食谱实体之间的内部依赖关系，并提出了动态边缘的三元组损失变体。最后，本文还利用最新的视觉与语言预训练（VLP）模型，如 CLIP，作为图像编码器，并在 Recipe1M 数据集上实现了比现有方法大幅提升的结果。

    Apr, 2022

  • 跨模态检索和合成（X-MRS）：在共享表示学习中弥合模态差距

    提出一种计算食品分析的方法，该方法结合了多模态共享表示学习和多语言翻译，包括转换器和图像嵌入技术，通过学习数字配方和图片的联合语义来生成美食图像。

    Dec, 2020