ACLMay, 2020

创建用于序列任务的多模态对齐数据集的方法

PDF
TL;DR通过使用无监督算法和图算法对文本和视频食谱的多模态数据进行对齐，研究了如何自动提取感性解释以说明现实世界中的复杂过程，构建了包含 4,262 道菜品的 Microsoft Research Multimodal Aligned Recipe Corpus 数据集。
alignmentrecipesinstruction setsunsupervised algorithmmultimodal
发现论文，激发创造
  • 多模态食谱中程序概念的潜在对齐

    本研究提出了一种新的方案，使用注意力机制、跨模态表示和指令和候选答案之间的潜在对齐空间来解决包含图像和指令的任务的语境推理问题，结果表明其优于基线的 19％。

    Jan, 2021

  • 使用文本、语音和视觉解读烹饪视频

    本研究提出了一种利用隐马尔可夫模型与深度卷积神经网络对菜谱中的指示语音逐一进行对齐的方法，在烹饪方面取得了较好的效果，可实现自动加入关键帧及视频事件搜索等功能。

    Mar, 2015

  • 烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

    本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

    Apr, 2018

  • 多模式烹饪工作流程构建用于食谱

    利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型，通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集，采用该方法比手工特征提取能够显著提高 20% 以上的性能。

    Aug, 2020

  • 烹饪情境下的图像和菜谱检索

    本文基于机器学习技术，提出了一种用于大规模检索任务的图片 - 食谱对齐方法，并在 Recipe1M 数据集上进行了实验，取得了最先进的成果。

    May, 2018

  • RecipeQA: 多模态烹饪食谱理解挑战数据集

    本文介绍了适用于多模态理解和推理任务的 “RecipeQA” 数据集，其中包含大约 20,000 个有多个模态（如标题，描述和一组对齐的图像）的烹饪配方的指令，与其对应的 36,000 多个问题答案对。我们利用自动生成的问题，设计了一组需要对图像和文本进行联合理解，捕捉事件的时间流和理解流程知识的任务。该数据集是衡量计算机理解系统的理想基准，并提供数据和排行榜。

    Sep, 2018

  • 从烹饪视频中提取结构化程序化知识的基准

    本文提出了从烹饪视频中提取结构化过程知识的基准测试，研究了现有模式的性能。

    May, 2020

  • CHEF: 跨模态层次嵌入用于食品领域检索

    本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

    Feb, 2021

  • Recipe1M+: 面向学习烹饪食谱和食物图像的跨模态嵌入数据集

    本研究介绍了 Recipe1M+，这是一个包含超过一百万个烹饪食谱和 1300 万个美食图像的大规模结构化语料库。通过使用数据，我们训练一个神经网络，学习食谱和图像的联合嵌入，从而在图像 - 食谱检索任务上取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标的正则化可以提高检索性能，并使语义向量算术成为可能。我们假设这些嵌入将为进一步探索 Recipe1M + 数据集以及食品和烹饪提供基础。

    Oct, 2018

  • 跨模态食品检索：使用语义一致性和注意机制学习食品图片和配方的联合嵌入

    本文提出了一种名为 Semantic-Consistent and Attention-based Networks (SCAN) 的方法，可解决在跨模式食品数据中存在的内在方差大和间方差小的问题以及获取区分性食谱表示的难点，其目的是学习图像和食谱的嵌入，使相应的图像 - 食谱嵌入彼此靠近，然后在大规模的 Recipe1M 数据集上评估了该方法的性能，并表明它在食品图像和烹饪食谱的交叉检索方面优于几种最先进的策略。

    Mar, 2020