使用 Transformer 进行跨模态食谱嵌入及大批量训练

MMMay, 2022

使用 Transformer 进行跨模态食谱嵌入及大批量训练

Transformer-based Cross-Modal Recipe Embeddings with Large Batch Training

Jing Yang, Junwen Chen, Keiji Yanai

TL;DR本文提出了基于 Transformer 神经网络的大批量训练 (TNLBT) 的跨模型食谱检索框架，并应用层次 Transformer 的食谱文本编码器、Vision Transformer 的食谱图像编码器和对抗网络架构来实现更好的食谱文本和图像的交叉嵌入学习。同时利用自监督学习来挖掘不具备相应图像的食谱文本中的丰富信息，结果验证了使用大批量训练对跨模型食谱嵌入的有效性。在实验中，该框架显著优于当前的最先进跨模型食谱检索框架。

Abstract

In this paper, we present a cross-modal recipe retrieval framework, transformer-based network for large batch training (TNLBT), which is i

cross-modal recipe retrieval transformer-based network large batch training self-supervised learning adversarial network

发现论文，激发创造

层次变换器与自监督学习优化跨模态菜谱检索

本研究针对跨模态食谱检索任务，提出一个基于端到端模型的层级食谱 Transformer，使用自我监督损失函数在图像和食谱样本上训练，取得了 Recipe1M 数据集上的最佳性能表现。

Mar, 2021

跨模态食物检索的多模态正则化 Transformer 解码器

本研究提出了一种名为 T-Food 的跨媒体图像 - 食谱检索框架，利用多模态正则化技术，从而在测试时使用单模态编码器进行高效检索，可以捕捉食谱实体之间的内部依赖关系，并提出了动态边缘的三元组损失变体。最后，本文还利用最新的视觉与语言预训练（VLP）模型，如 CLIP，作为图像编码器，并在 Recipe1M 数据集上实现了比现有方法大幅提升的结果。

Apr, 2022

使用对抗网络学习跨模态嵌入，用于烹饪食谱和食物图像

研究了食品领域跨模态检索的开放性研究任务，提出了一种新的框架 Adversarial Cross-Modal Embedding（ACME）来解决这个问题，通过三元组损失和有效的采样策略学习公共嵌入特征空间，并实现模态对齐、跨模态翻译一致性等多种模型，取得了基准 Recipe1M 数据集的最先进性能。

May, 2019

CHEF: 跨模态层次嵌入用于食品领域检索

本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

Feb, 2021

烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

跨模式食谱检索的分治策略：从最近邻基线到最佳表现

我们提出了一种新颖的非参数方法，用于跨模式菜谱检索，结合图像和文本嵌入，通过将我们的方法与用自监督分类目标独立训练的标准方法相结合，我们创建了一个基准模型，在挑战性的图像到菜谱任务上优于大多数现有方法。我们还使用我们的方法比较使用不同现代方法训练的图像和文本编码器，从而解决跨模式菜谱检索的问题。通过三元组损失增强基准模型，同时仅使用预计算特征并且比现有方法更简单，大幅提高了在 Recipe1M 数据集上的最新水平，并且我们的方法易于推广到其他具有挑战性的领域，在政治和 GoodNews 跨模态检索任务上实现了最先进的性能。

Nov, 2019

利用潜变量模型拉近烹饪食谱和菜肴图像之间的跨模态差距

本文介绍一种通过 “模态一致嵌入网络” 实现食品图片与烹饪配方的跨模态检索的方法，旨在提升健康应用领域中的食品检索技术。经过广泛的实验结果证明，该方法在 Recipe1M 数据集上表现优秀并且需要较少的计算成本。

Apr, 2020

T-VSE: 基于 Transformer 的视觉语义嵌入

本文研究了基于 Transformer 模型的跨模态图文检索问题，发现在大规模电商产品数据集上，相比于 RNN 等传统语言模型以及简单的平均词向量模型，基于 Transformer 的跨模态嵌入表现更加优秀。

May, 2020

Recipe2Vec: 基于图神经网络的多模态食谱表示学习

本文讨论了将视觉，文本和关系信息集成到食谱嵌入中的问题，并介绍了一种基于图神经网络（GNN）的全新食谱嵌入模型 Recipe2Vec。通过对大量实验的验证，证明该模型在两项食品学研究任务中表现出色 - 风味分类和地区预测。

May, 2022

视频检索的多模态 Transformer

本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

Jul, 2020