May, 2023

通过多媒体基础实现非顺序图脚本归纳

PDF
TL;DR该论文提出了一种新的具有挑战性的任务，即非顺序图脚本推理，旨在捕捉程序规划中的可选步骤和可互换步骤，通过多模态框架将视频转换成观察到的步骤路径，以训练生成明确图脚本和预测未来步骤的模型。该模型优于纯文本 / 视觉基线，人类评估显示超过 WikiHow 线性基线，能够更好地捕捉顺序和非顺序步骤关系。
procedural planningnon-sequential graph script inductionmultimodal frameworkstep sequence predictionwikihow
发现论文，激发创造
  • MULTISCRIPT: 支持开放领域日常任务的多模态脚本学习

    通过建立 MultiScript 基准测试，我们提出了两种引入任务相关知识的多模态生成框架，这些框架显著提升了脚本生成和后续步骤预测的性能。

    Oct, 2023

  • 多媒体生成式脚本学习用于任务规划

    提出了一种新的多媒体生成式脚本学习任务，通过同时跟踪文本和视觉模态中的历史状态，并以描述性图像呈现，旨在生成可视状态跟踪、对未见任务有归纳性和具有多样性的脚本，通过多媒体选性编码器实现对视觉状态变化的编码，使用检索增强解码器从以前观察到的任务中传递知识，通过优化多样性导向的对比学习目标，呈现每个步骤的不同信息。实验结果表明，该方法显著优于强基线。

    Aug, 2022

  • 通过叙述学习将说明文章与视频联系起来

    本文提出了一种无需手动监督的方法来将『如何做』视频中的步骤与 wikiHow 等语言知识库中的指导文章进行对齐，并采用多模态对齐进行全局时间定位，验证结果表明与现有方法相比具有明显优势。

    Jun, 2023

  • 在教学视频中基于视频图像挖掘的按键识别

    我们提出从视频中自动发现任务图表示人们如何执行关键步骤的概率，并利用该图来规范化新视频中的关键步骤识别，从而在多个真实世界教学视频数据集上展示了影响：更可靠的零样本关键步骤定位和改进的视频表示学习，超越了现有技术水平。

    Jul, 2023

  • 面向目标的脚本构建

    本文提出了一种目标导向的脚本构建任务，通过基于语言模型的生成方法和首先从候选池中检索相关步骤然后排序的检索方法，使用第一个支持 18 种语言的多语言脚本学习数据集来试验该任务，并表明该任务是实用的，可行的但挑战性很大，同时我们的方法在零 - shot 学习下能够在各种其他数据集和领域中轻松部署。

    Jul, 2021

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 从 WikiHow 描述中学习家庭任务知识

    该论文介绍了利用深度学习和整形规划学习从自然语言语料库中提取常识性过程知识的模型以及相关实验结果。

    Sep, 2019

  • 使用 WikiHow 进行目标、步骤和时间排序的推理

    该研究提出了关于过程事件中两种类型的推理任务：目标 - 步骤关系和步骤 - 步骤时间关系。通过基于 how-to 文章的 wikiHow 数据集，建立人类验证的测试集和生成自动训练集。经实验证明，训练集有效地提高了在 SWAG，Snips 和故事 Cloze 测试的性能。

    Sep, 2020

  • 使用 wikiHow 进行视觉目标 - 步骤推理

    介绍了可视化目标 - 步骤推理 (VGSI) 任务，通过从 wikiHow 中获得的包括 772,277 幅人类行为图像的新数据集，展示了该任务对于最先进的多模态模型来说具有挑战性，同时表明从我们的数据中学到的多模态表征可以有效地转移到其他数据集，如 HowTo100m，将 VGSI 的准确度提高了 15-20%。该任务将促进关于程序事件的多模态推理。

    Apr, 2021

  • 将任务特定的概念知识融入脚本学习中

    本文介绍了 Tetris 任务，它考虑更现实和更通用的设置，其中输入不仅包括目标，还包括附加的用户上下文，包括偏好和历史。为了解决这个问题，我们提出了一种新的方法，它使用两种技术来改进性能：（1）概念提示，和（2）面向脚本的对比学习，解决了步骤重复和幻觉问题。在我们的基于 WikiHow 的数据集上，我们发现两种方法都改善了性能。该数据集，代码仓库和模型将公开提供，以促进对这个新任务的进一步研究。

    Aug, 2022