MMAug, 2020

多模式烹饪工作流程构建用于食谱

PDF
TL;DR利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。
food recipecausal effectsworkflow graphcooking imagesneural encoder-decoder model
发现论文，激发创造
  • CHEF: 跨模态层次嵌入用于食品领域检索

    本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

    Feb, 2021

  • 烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

    本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

    Apr, 2018

  • 层次变换器与自监督学习优化跨模态菜谱检索

    本研究针对跨模态食谱检索任务，提出一个基于端到端模型的层级食谱 Transformer，使用自我监督损失函数在图像和食谱样本上训练，取得了 Recipe1M 数据集上的最佳性能表现。

    Mar, 2021

  • 创建用于序列任务的多模态对齐数据集的方法

    通过使用无监督算法和图算法对文本和视频食谱的多模态数据进行对齐，研究了如何自动提取感性解释以说明现实世界中的复杂过程，构建了包含 4,262 道菜品的 Microsoft Research Multimodal Aligned Recipe Corpus 数据集。

    May, 2020

  • Recipe1M+: 面向学习烹饪食谱和食物图像的跨模态嵌入数据集

    本研究介绍了 Recipe1M+，这是一个包含超过一百万个烹饪食谱和 1300 万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像 - 食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索 Recipe1M + 数据集以及食品和烹饪提供基础。

    Oct, 2018

  • Recipe2Vec: 基于图神经网络的多模态食谱表示学习

    本文讨论了将视觉，文本和关系信息集成到食谱嵌入中的问题，并介绍了一种基于图神经网络（GNN）的全新食谱嵌入模型 Recipe2Vec。通过对大量实验的验证，证明该模型在两项食品学研究任务中表现出色 - 风味分类和地区预测。

    May, 2022

  • Visual Recipe Flow：一份用于学习物体视觉状态变化的食谱流数据集

    提出了一个名为 Visual Recipe Flow 的多模态数据集，它能够学习菜谱文本中每个烹饪动作的结果，该数据集由物体状态变化以及菜谱文本的工作流程组成，其使用一个菜谱流程图来表示工作流程并使用图像对来表示状态变化，可用于多模态常识推理和过程文本生成等应用。

    Sep, 2022

  • 利用潜变量模型拉近烹饪食谱和菜肴图像之间的跨模态差距

    本文介绍一种通过 “模态一致嵌入网络” 实现食品图片与烹饪配方的跨模态检索的方法，旨在提升健康应用领域中的食品检索技术。经过广泛的实验结果证明，该方法在 Recipe1M 数据集上表现优秀并且需要较少的计算成本。

    Apr, 2020

  • 学习食物图片和烹饪食谱的程序表示

    本文提出了一种通过将烹饪配方和食品图像表示为烹饪程序来建模如何指导说明性程序（如烹饪食谱），并展示了使用自我监督和联合嵌入生成程序的可行性，从图像生成食品图像，这使得跨模态检索效果更佳。

    Mar, 2022

  • PizzaCommonSense: 学习对烹饪食谱的中间步骤进行常识推理

    基于 T5 和 GPT-3.5 的基线模型，该研究论文介绍了具有中间步骤描述的烹饪食谱语料库，以有效地理解和推理烹饪食谱中的输入和输出，从而为智能推理和程序文本生成提供了有关常识推理的挑战性任务和见解。

    Jan, 2024