层次变换器与自监督学习优化跨模态菜谱检索

CVPRMar, 2021

层次变换器与自监督学习优化跨模态菜谱检索

Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning

Amaia Salvador, Erhan Gundogdu, Loris Bazzani, Michael Donoser

TL;DR本研究针对跨模态食谱检索任务，提出一个基于端到端模型的层级食谱 Transformer，使用自我监督损失函数在图像和食谱样本上训练，取得了 Recipe1M 数据集上的最佳性能表现。

Abstract

cross-modal recipe retrieval has recently gained substantial attention due to the importance of food in people's lives, as well as the availability of vast amounts of digital cooking recipes and food images to train machine learning models. In this work, we revisit existing approaches

cross-modal recipe retrieval end-to-end model hierarchical recipe transformer self-supervised loss function state-of-the-art performance

发现论文，激发创造

CHEF: 跨模态层次嵌入用于食品领域检索

本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

Feb, 2021

跨模态食物检索的多模态正则化 Transformer 解码器

本研究提出了一种名为 T-Food 的跨媒体图像 - 食谱检索框架，利用多模态正则化技术，从而在测试时使用单模态编码器进行高效检索，可以捕捉食谱实体之间的内部依赖关系，并提出了动态边缘的三元组损失变体。最后，本文还利用最新的视觉与语言预训练（VLP）模型，如 CLIP，作为图像编码器，并在 Recipe1M 数据集上实现了比现有方法大幅提升的结果。

Apr, 2022

烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

使用 Transformer 进行跨模态食谱嵌入及大批量训练

本文提出了基于 Transformer 神经网络的大批量训练 (TNLBT) 的跨模型食谱检索框架，并应用层次 Transformer 的食谱文本编码器、Vision Transformer 的食谱图像编码器和对抗网络架构来实现更好的食谱文本和图像的交叉嵌入学习。同时利用自监督学习来挖掘不具备相应图像的食谱文本中的丰富信息，结果验证了使用大批量训练对跨模型食谱嵌入的有效性。在实验中，该框架显著优于当前的最先进跨模型食谱检索框架。

May, 2022

跨模态食品检索：使用语义一致性和注意机制学习食品图片和配方的联合嵌入

本文提出了一种名为 Semantic-Consistent and Attention-based Networks (SCAN) 的方法，可解决在跨模式食品数据中存在的内在方差大和间方差小的问题以及获取区分性食谱表示的难点，其目的是学习图像和食谱的嵌入，使相应的图像 - 食谱嵌入彼此靠近，然后在大规模的 Recipe1M 数据集上评估了该方法的性能，并表明它在食品图像和烹饪食谱的交叉检索方面优于几种最先进的策略。

Mar, 2020

跨模式食谱检索的分治策略：从最近邻基线到最佳表现

我们提出了一种新颖的非参数方法，用于跨模式菜谱检索，结合图像和文本嵌入，通过将我们的方法与用自监督分类目标独立训练的标准方法相结合，我们创建了一个基准模型，在挑战性的图像到菜谱任务上优于大多数现有方法。我们还使用我们的方法比较使用不同现代方法训练的图像和文本编码器，从而解决跨模式菜谱检索的问题。通过三元组损失增强基准模型，同时仅使用预计算特征并且比现有方法更简单，大幅提高了在 Recipe1M 数据集上的最新水平，并且我们的方法易于推广到其他具有挑战性的领域，在政治和 GoodNews 跨模态检索任务上实现了最先进的性能。

Nov, 2019

利用潜变量模型拉近烹饪食谱和菜肴图像之间的跨模态差距

本文介绍一种通过 “模态一致嵌入网络” 实现食品图片与烹饪配方的跨模态检索的方法，旨在提升健康应用领域中的食品检索技术。经过广泛的实验结果证明，该方法在 Recipe1M 数据集上表现优秀并且需要较少的计算成本。

Apr, 2020

跨模态检索和合成（X-MRS）：在共享表示学习中弥合模态差距

提出一种计算食品分析的方法，该方法结合了多模态共享表示学习和多语言翻译，包括转换器和图像嵌入技术，通过学习数字配方和图片的联合语义来生成美食图像。

Dec, 2020

多模式烹饪工作流程构建用于食谱

利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

Aug, 2020

使用对抗网络学习跨模态嵌入，用于烹饪食谱和食物图像

研究了食品领域跨模态检索的开放性研究任务，提出了一种新的框架 Adversarial Cross-Modal Embedding（ACME）来解决这个问题，通过三元组损失和有效的采样策略学习公共嵌入特征空间，并实现模态对齐、跨模态翻译一致性等多种模型，取得了基准 Recipe1M 数据集的最先进性能。

May, 2019