CVPRMar, 2022

学习食物图片和烹饪食谱的程序表示

PDF
TL;DR本文提出了一种通过将烹饪配方和食品图像表示为烹饪程序来建模如何指导说明性程序（如烹饪食谱），并展示了使用自我监督和联合嵌入生成程序的可行性，从图像生成食品图像，这使得跨模态检索效果更佳。
cooking programsimage-recipe embeddingscross-modal retrievalganself-supervised learning
发现论文，激发创造
  • 多模式烹饪工作流程构建用于食谱

    利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

    Aug, 2020

  • CHEF: 跨模态层次嵌入用于食品领域检索

    本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

    Feb, 2021

  • 反向烹饪：从食物图像生成菜谱

    本文介绍了一种逆向烹饪系统，利用图像和推断的食材同时生成烹饪说明，能够更好地预测食材，并且相比检索法，可以产生更有吸引力的高质量菜谱。

    Dec, 2018

  • 烹饪情境下的图像和菜谱检索

    本文基于机器学习技术，提出了一种用于大规模检索任务的图片 - 食谱对齐方法，并在 Recipe1M 数据集上进行了实验，取得了最先进的成果。

    May, 2018

  • 烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

    本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

    Apr, 2018

  • 食物图像转菜谱生成

    该研究提出了一种针对食品计算领域的新型多模态方法（FIRE），该方法基于输入的食品图像生成食品标题、配料和烹饪说明，并展示了与大型语言模型提示结合的两个实际应用：将食谱个性化以适应用户偏好和将食谱转化为代码以实现自动化烹饪过程。实验结果验证了该方法的有效性，并强调其在食品计算领域的未来发展和广泛应用潜力。

    Aug, 2023

  • 深度图像至食谱翻译

    深度图像到菜谱的翻译，是计算机视觉和自然语言生成的交叉领域，旨在弥合珍贵食物记忆与烹饪艺术之间的鸿沟。

    Jul, 2024

  • 跨模态食品检索：使用语义一致性和注意机制学习食品图片和配方的联合嵌入

    本文提出了一种名为 Semantic-Consistent and Attention-based Networks (SCAN) 的方法，可解决在跨模式食品数据中存在的内在方差大和间方差小的问题以及获取区分性食谱表示的难点，其目的是学习图像和食谱的嵌入，使相应的图像 - 食谱嵌入彼此靠近，然后在大规模的 Recipe1M 数据集上评估了该方法的性能，并表明它在食品图像和烹饪食谱的交叉检索方面优于几种最先进的策略。

    Mar, 2020

  • 无监督学习食谱图

    提出一种无监督学习的方法，使用图表示法从烹饪食谱中提取相关信息，并通过解码图成文本进行监督，与其他方法相比，使用文本到图和图到文本的方式迭代学习图结构和参数，并通过与标注数据集的实体对比、输入和输出文本的差异对比以及与现有方法生成的图的对比来评估该方法。

    Jan, 2024

  • 结构感知生成网络用于从图像生成食谱

    本研究提出了一个单纯使用食品图片和配料来生成食品烹饪说明的结构感知生成网络，通过无监督学习的方式，提取句子级别的树状结构标签，并将其与生成的目标食谱树形结构相结合。实验表明该方法能产生高质量连贯的食谱，而且在基准的 Recipe1M 数据集上取得了最先进的性能。

    Sep, 2020