食物图像转菜谱生成

Aug, 2023

FIRE: Food Image to REcipe generation

Prateek Chhikara, Dhiraj Chaurasia, Yifan Jiang, Omkar Masur, Filip Ilievski

TL;DR该研究提出了一种针对食品计算领域的新型多模态方法（FIRE），该方法基于输入的食品图像生成食品标题、配料和烹饪说明，并展示了与大型语言模型提示结合的两个实际应用：将食谱个性化以适应用户偏好和将食谱转化为代码以实现自动化烹饪过程。实验结果验证了该方法的有效性，并强调其在食品计算领域的未来发展和广泛应用潜力。

Abstract

food computing has emerged as a prominent multidisciplinary field of research in recent years. An ambitious goal of food computing is to develop end-to-end intelligent systems capable of autonomously producing re

food computing recipe generation multimodal methodology blip model vision transformer

发现论文，激发创造

深度图像至食谱翻译

深度图像到菜谱的翻译，是计算机视觉和自然语言生成的交叉领域，旨在弥合珍贵食物记忆与烹饪艺术之间的鸿沟。

Jul, 2024

反向烹饪：从食物图像生成菜谱

本文介绍了一种逆向烹饪系统，利用图像和推断的食材同时生成烹饪说明，能够更好地预测食材，并且相比检索法，可以产生更有吸引力的高质量菜谱。

Dec, 2018

烹饪情境下的图像和菜谱检索

本文基于机器学习技术，提出了一种用于大规模检索任务的图片 - 食谱对齐方法，并在 Recipe1M 数据集上进行了实验，取得了最先进的成果。

May, 2018

CHEF: 跨模态层次嵌入用于食品领域检索

本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

Feb, 2021

多模态模块化人工智能厨师：基于图像的复杂食谱生成

本文介绍了一种基于多模态方法的轻量级和专门化的 API，使对象检测和最新的文本生成器的串联生成秤可能的食谱。

Mar, 2023

结构感知生成网络用于从图像生成食谱

本研究提出了一个单纯使用食品图片和配料来生成食品烹饪说明的结构感知生成网络，通过无监督学习的方式，提取句子级别的树状结构标签，并将其与生成的目标食谱树形结构相结合。实验表明该方法能产生高质量连贯的食谱，而且在基准的 Recipe1M 数据集上取得了最先进的性能。

Sep, 2020

烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

层次变换器与自监督学习优化跨模态菜谱检索

本研究针对跨模态食谱检索任务，提出一个基于端到端模型的层级食谱 Transformer，使用自我监督损失函数在图像和食谱样本上训练，取得了 Recipe1M 数据集上的最佳性能表现。

Mar, 2021

多模式烹饪工作流程构建用于食谱

利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

Aug, 2020

跨模态食品检索：使用语义一致性和注意机制学习食品图片和配方的联合嵌入

本文提出了一种名为 Semantic-Consistent and Attention-based Networks (SCAN) 的方法，可解决在跨模式食品数据中存在的内在方差大和间方差小的问题以及获取区分性食谱表示的难点，其目的是学习图像和食谱的嵌入，使相应的图像 - 食谱嵌入彼此靠近，然后在大规模的 Recipe1M 数据集上评估了该方法的性能，并表明它在食品图像和烹饪食谱的交叉检索方面优于几种最先进的策略。

Mar, 2020