从未分割的烹饪视频中生成食谱

Sep, 2022

Recipe Generation from Unsegmented Cooking Videos

Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori

TL;DR本研究提出一种基于转换器的联合方法来生成食谱，该方法可以从未经分段的烹饪视频中提取关键事件并为其生成相关的句子，同时加入食材信息以提高准确性。实验证明该方法优于现有的传统方法且能够正确输出相关事件和句子。

Abstract

This paper tackles recipe generation from unsegmented cooking videos, a task that requires agents to (1) extract key events in completing the dish and (2) generate sentences for the extracted events. Our task is

recipe generation cooking videos dense video captioning transformer-based joint approach ingredients

发现论文，激发创造

端到端密集视频字幕生成

本文提出一种联合建模的方法，将稠密视频字幕的两个子任务共同作为一个序列生成任务，同时预测事件和相应的描述，并使用 YouCook2 和 ViTT 的实验结果表明了该方法的可行性和在大规模预训练模型中集成端到端密集视频字幕等复杂任务中的适用性。

Apr, 2022

从烹饪视频中提取结构化程序化知识的基准

本文提出了从烹饪视频中提取结构化过程知识的基准测试，研究了现有模式的性能。

May, 2020

创建用于序列任务的多模态对齐数据集的方法

通过使用无监督算法和图算法对文本和视频食谱的多模态数据进行对齐，研究了如何自动提取感性解释以说明现实世界中的复杂过程，构建了包含 4,262 道菜品的 Microsoft Research Multimodal Aligned Recipe Corpus 数据集。

May, 2020

结构感知生成网络用于从图像生成食谱

本研究提出了一个单纯使用食品图片和配料来生成食品烹饪说明的结构感知生成网络，通过无监督学习的方式，提取句子级别的树状结构标签，并将其与生成的目标食谱树形结构相结合。实验表明该方法能产生高质量连贯的食谱，而且在基准的 Recipe1M 数据集上取得了最先进的性能。

Sep, 2020

反事实食谱生成：在现实场景中探索组合泛化

本文研究了预训练语言模型是否能够在现实环境中进行构成泛化和对新元素进行合成，主要通过设计反事实食谱生成任务，使用中文菜谱数据集进行进行预训练语言模型的微调，结果表明这些模型生成的食谱虽然文字流畅，但缺乏真正的构成泛化能力和对烹饪知识的学习和应用。

Oct, 2022

使用文本、语音和视觉解读烹饪视频

本研究提出了一种利用隐马尔可夫模型与深度卷积神经网络对菜谱中的指示语音逐一进行对齐的方法，在烹饪方面取得了较好的效果，可实现自动加入关键帧及视频事件搜索等功能。

Mar, 2015

通过批判性评论协助食谱编辑

本研究提出了 RecipeCrit，一种基于层次化去噪自编码器的食谱编辑模型，通过无监督的评论模块允许用户与预测的配料进行交互迭代地改写食谱，实现了更加有效的食谱编辑，生成的食谱更符合用户约束条件，更正确、有趣、连贯和相关。

May, 2022

无监督学习食谱图

提出一种无监督学习的方法，使用图表示法从烹饪食谱中提取相关信息，并通过解码图成文本进行监督，与其他方法相比，使用文本到图和图到文本的方式迭代学习图结构和参数，并通过与标注数据集的实体对比、输入和输出文本的差异对比以及与现有方法生成的图的对比来评估该方法。

Jan, 2024

从历史用户偏好生成个性化菜谱

本文针对具有烹饪偏好但对于特定菜肴的食材知识不足的用户提出了个性化食谱生成的新任务：将菜品名称和不完整的食材详情扩展为与用户历史喜好相符的完整自然文本说明。通过技术和食谱级别的表示，我们的模型在一个注意力融合层中融合了这些 “用户感知” 的表示，控制食谱文本的生成。在一个新的包含 180K 份菜谱和 700K 个交互的数据集上进行实验，与非个性化的基准相比，我们的模型能够生成一些合理且个性化的菜谱。

Aug, 2019

GePSAn：烹饪视频中的生成式步骤预测

未来步骤预测问题的核心挑战是如何考虑自然场景中多种可能性的未来实现，该论文通过建立一个生成模型来拟合可能的下一步候选结果的分布，从而解决此问题。

Oct, 2023