Jan, 2024

无监督学习食谱图

PDF
TL;DR提出一种无监督学习的方法，使用图表示法从烹饪食谱中提取相关信息，并通过解码图成文本进行监督，与其他方法相比，使用文本到图和图到文本的方式迭代学习图结构和参数，并通过与标注数据集的实体对比、输入和输出文本的差异对比以及与现有方法生成的图的对比来评估该方法。
cooking recipesprocedural textgraph representationunsupervised learningnatural language processing
发现论文，激发创造
  • 结构感知生成网络用于从图像生成食谱

    本研究提出了一个单纯使用食品图片和配料来生成食品烹饪说明的结构感知生成网络，通过无监督学习的方式，提取句子级别的树状结构标签，并将其与生成的目标食谱树形结构相结合。实验表明该方法能产生高质量连贯的食谱，而且在基准的 Recipe1M 数据集上取得了最先进的性能。

    Sep, 2020

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 开放域过程文本的流图预测

    本文提出了一种基于食谱流程图的框架，来预测开放领域中流程文本的流程图，通过实现领域适应模型，实验结果表明领域适应的模型比只在烹饪或目标领域数据上训练的模型具有更高的性能。

    May, 2023

  • RecipeRec：一种用于食谱推荐的异构图学习模型

    本文提出了一种基于图模型的食谱推荐方法，将协作信号纳入计算中，通过具有分层注意力和成分集转换器的异构图神经网络来捕捉食谱内容和协作信号，使用图对比增强策略以自我监督的方式提取信息，利用推荐和对比学习的联合目标函数来优化模型，实验证明了其优于现有的食谱推荐方法。

    May, 2022

  • 烤曲奇的 50 种方式：流程文本的映射

    该研究提出了一种无监督学习方法，可将多个过程文本总结成直观的图形表示，用于探索任务的共性和差异，以帮助用户完成包括易于入门的菜谱修改和发掘烹饪创意等多种推理任务。

    Oct, 2022

  • 多模式烹饪工作流程构建用于食谱

    利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

    Aug, 2020

  • PizzaCommonSense: 学习对烹饪食谱的中间步骤进行常识推理

    基于 T5 和 GPT-3.5 的基线模型，该研究论文介绍了具有中间步骤描述的烹饪食谱语料库，以有效地理解和推理烹饪食谱中的输入和输出，从而为智能推理和程序文本生成提供了有关常识推理的挑战性任务和见解。

    Jan, 2024

  • 学习食物图片和烹饪食谱的程序表示

    本文提出了一种通过将烹饪配方和食品图像表示为烹饪程序来建模如何指导说明性程序（如烹饪食谱），并展示了使用自我监督和联合嵌入生成程序的可行性，从图像生成食品图像，这使得跨模态检索效果更佳。

    Mar, 2022

  • 创建用于序列任务的多模态对齐数据集的方法

    通过使用无监督算法和图算法对文本和视频食谱的多模态数据进行对齐，研究了如何自动提取感性解释以说明现实世界中的复杂过程，构建了包含 4,262 道菜品的 Microsoft Research Multimodal Aligned Recipe Corpus 数据集。

    May, 2020

  • Recipe2Vec: 基于图神经网络的多模态食谱表示学习

    本文讨论了将视觉，文本和关系信息集成到食谱嵌入中的问题，并介绍了一种基于图神经网络（GNN）的全新食谱嵌入模型 Recipe2Vec。通过对大量实验的验证，证明该模型在两项食品学研究任务中表现出色 - 风味分类和地区预测。

    May, 2022