ECCVSep, 2020

结构感知生成网络用于从图像生成食谱

PDF
TL;DR本研究提出了一个单纯使用食品图片和配料来生成食品烹饪说明的结构感知生成网络，通过无监督学习的方式，提取句子级别的树状结构标签，并将其与生成的目标食谱树形结构相结合。实验表明该方法能产生高质量连贯的食谱，而且在基准的 Recipe1M 数据集上取得了最先进的性能。
cooking instructionsfood imagesstructure-aware generation networkrecipe generation taskunsupervised learning
发现论文，激发创造
  • CookGAN：基于食材的餐食图像合成

    提出了一种新的计算框架，基于生成深层模型，从其成分的文本列表中合成逼真的食物照片。通过构建基于注意力的成分 - 图像关联模型，并使用生成神经网络对合成的餐食图像进行调节，以此来生成真实的餐食照片。

    Feb, 2020

  • 反向烹饪：从食物图像生成菜谱

    本文介绍了一种逆向烹饪系统，利用图像和推断的食材同时生成烹饪说明，能够更好地预测食材，并且相比检索法，可以产生更有吸引力的高质量菜谱。

    Dec, 2018

  • 无监督学习食谱图

    提出一种无监督学习的方法，使用图表示法从烹饪食谱中提取相关信息，并通过解码图成文本进行监督，与其他方法相比，使用文本到图和图到文本的方式迭代学习图结构和参数，并通过与标注数据集的实体对比、输入和输出文本的差异对比以及与现有方法生成的图的对比来评估该方法。

    Jan, 2024

  • 食物图像转菜谱生成

    该研究提出了一种针对食品计算领域的新型多模态方法（FIRE），该方法基于输入的食品图像生成食品标题、配料和烹饪说明，并展示了与大型语言模型提示结合的两个实际应用：将食谱个性化以适应用户偏好和将食谱转化为代码以实现自动化烹饪过程。实验结果验证了该方法的有效性，并强调其在食品计算领域的未来发展和广泛应用潜力。

    Aug, 2023

  • 学习食物图片和烹饪食谱的程序表示

    本文提出了一种通过将烹饪配方和食品图像表示为烹饪程序来建模如何指导说明性程序（如烹饪食谱），并展示了使用自我监督和联合嵌入生成程序的可行性，从图像生成食品图像，这使得跨模态检索效果更佳。

    Mar, 2022

  • 深度图像至食谱翻译

    深度图像到菜谱的翻译，是计算机视觉和自然语言生成的交叉领域，旨在弥合珍贵食物记忆与烹饪艺术之间的鸿沟。

    Jul, 2024

  • 多模式烹饪工作流程构建用于食谱

    利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

    Aug, 2020

  • 通过批判性评论协助食谱编辑

    本研究提出了 RecipeCrit，一种基于层次化去噪自编码器的食谱编辑模型，通过无监督的评论模块允许用户与预测的配料进行交互迭代地改写食谱，实现了更加有效的食谱编辑，生成的食谱更符合用户约束条件，更正确、有趣、连贯和相关。

    May, 2022

  • 从历史用户偏好生成个性化菜谱

    本文针对具有烹饪偏好但对于特定菜肴的食材知识不足的用户提出了个性化食谱生成的新任务：将菜品名称和不完整的食材详情扩展为与用户历史喜好相符的完整自然文本说明。通过技术和食谱级别的表示，我们的模型在一个注意力融合层中融合了这些 “用户感知” 的表示，控制食谱文本的生成。在一个新的包含 180K 份菜谱和 700K 个交互的数据集上进行实验，与非个性化的基准相比，我们的模型能够生成一些合理且个性化的菜谱。

    Aug, 2019

  • Cook-Gen：菜谱烹饪行为的鲁棒生成建模

    本研究探索了使用生成 AI 方法扩展当前食品计算模型的可能性，主要涉及营养和配料分析，以及包括烹饪行为（例如加盐，煎肉，煮蔬菜等），并提出了一种新的基于聚合的生成 AI 方法 Cook-Gen。

    Jun, 2023