Feb, 2023

从教学视频中生成多模态子任务图

PDF
TL;DR该研究旨在从任务的教学视频中建立多模态子任务图，以便更准确地预测下一个子任务，并且与先前方法相比，建立的图更接近于人工标注的图。
multimodal subtask graph generationcausal dependenciesinstructional videoslearning mechanismsnext subtask prediction
发现论文，激发创造
  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 针对少样本任务概括的快速推理和组合任务结构转移

    本研究提出基于多任务子任务图推断的少样本强化学习方法，通过推断训练任务的高层子任务图结构，提高在测试任务中的任务推断和适应能力，实验结果表明其能够学习并利用任务的潜在共同结构，比其他现有算法如元强化学习、分层强化学习和启发式智能体等更快地适应未见过的任务。

    May, 2022

  • 自主推断子任务依赖关系的元强化学习

    本文提出了一种新颖的少样本强化学习问题，其通过任务的子任务图描述一组子任务及其依赖关系，我们开发了一种元学习器，即消息传递子任务图推理器（MSGI），该学习器通过与环境交互推断任务的潜在参数，并采用上限置信界中得到启发的内在奖励以促进有效探索，实验结果表明该方法能够准确推断潜在任务参数， 并比现有的元强化学习和分层强化学习方法更有效地适应。

    Jan, 2020

  • 教学视频中任务结构的学习与验证

    本论文介绍了一种新的预训练视频模型，VideoTaskformer，利用遮盖步骤建立弱监督学习任务，学习全局步骤表示，实现对多步骤任务的表示和预测。同时提出了两个新的基准测试来检测指令视频中的错误步骤和步骤执行顺序，以及一项长期预测基准测试，均取得了优于现有基线的性能，适用于评估全球学习的步骤表示质量。

    Mar, 2023

  • MULTISCRIPT: 支持开放领域日常任务的多模态脚本学习

    通过建立 MultiScript 基准测试，我们提出了两种引入任务相关知识的多模态生成框架，这些框架显著提升了脚本生成和后续步骤预测的性能。

    Oct, 2023

  • 在教学视频中基于视频图像挖掘的按键识别

    我们提出从视频中自动发现任务图表示人们如何执行关键步骤的概率，并利用该图来规范化新视频中的关键步骤识别，从而在多个真实世界教学视频数据集上展示了影响：更可靠的零样本关键步骤定位和改进的视频表示学习，超越了现有技术水平。

    Jul, 2023

  • 通过多媒体基础实现非顺序图脚本归纳

    该论文提出了一种新的具有挑战性的任务，即非顺序图脚本推理，旨在捕捉程序规划中的可选步骤和可互换步骤，通过多模态框架将视频转换成观察到的步骤路径，以训练生成明确图脚本和预测未来步骤的模型。该模型优于纯文本 / 视觉基线，人类评估显示超过 WikiHow 线性基线，能够更好地捕捉顺序和非顺序步骤关系。

    May, 2023

  • 创建用于序列任务的多模态对齐数据集的方法

    通过使用无监督算法和图算法对文本和视频食谱的多模态数据进行对齐，研究了如何自动提取感性解释以说明现实世界中的复杂过程，构建了包含 4,262 道菜品的 Microsoft Research Multimodal Aligned Recipe Corpus 数据集。

    May, 2020

  • 分层强化学习用于具有子任务依赖性的零样本普适性

    提出了一种新的强化学习问题，该问题需要代理在一个由子任务图描述的先前未见的环境中进行泛化，我们提出了一种神经子任务图求解器，通过使用递归神经网络嵌入来编码子任务图，并用基于梯度的策略，图奖励传播来预训练它，进一步通过演员 - 评论家方法微调它，实验结果表明，我们的代理可以进行复杂的推理，找到执行子任务图的近似最优方式，并且在未见的子任务图上具备很好的泛化性能。

    Jul, 2018

  • 神经任务图：从单一视频演示推广到未知任务

    通过使用神经任务图网络作为中间表示，我们成功地在两个复杂任务中将任务的组成结构显式融合到模型中，从而实现任务间的泛化，提高数据效率以及无需密集分层监督而实现强泛化能力，并在 JIGSAWS 手术数据集上展示了良好的任务结构预测性能。

    Jul, 2018