AAAIJan, 2023

学习可规划程序任务的表示的动作动态任务图

PDF
TL;DR本文通过 Action Dynamics Task Graphs (ATDG) 提取任务的结构 - 相关动作及其时间依赖性来理解人类执行任务的未见视频。ATDG 还可以用于提供用户中心指导，包括跟踪正在执行中的任务、推荐下一步行动和规划动作序列，相较于当前最新的神经任务图法，在 CrossTask 数据集的 18 项操作中，改进了 30.1％的任务跟踪准确性和 20.3％的下一步行动预测准确度。
发现论文，激发创造
  • 可微分任务图学习：程序化活动表示和基于自我感知视频的在线错误检测

    通过最大似然优化边权重的方法，从动作序列中预测任务图，与之前的方法相比提高了 16.7% 的准确性；同时可通过文本或视频嵌入来预测任务图，并在程序性自我中心视频中显著提高在线错误检测的准确性，分别在 Assembly101 和 EPIC-Tent 数据集上获得了 19.8% 和 7.5% 的显著增益。

    Jun, 2024

  • 神经任务图：从单一视频演示推广到未知任务

    通过使用神经任务图网络作为中间表示，我们成功地在两个复杂任务中将任务的组成结构显式融合到模型中，从而实现任务间的泛化，提高数据效率以及无需密集分层监督而实现强泛化能力，并在 JIGSAWS 手术数据集上展示了良好的任务结构预测性能。

    Jul, 2018

  • 利用自然语言指导学习自适应规划表示

    Ada 使用语言模型从任务通用的背景知识中自动构建特定任务的规划表示，通过与其他使用语言模型进行顺序决策的方法相比，在两个基准任务上表现出更准确的计划和更好的任务复杂性泛化能力。

    Dec, 2023

  • 时空动作定位的活动图变换器

    该研究提出了一种基于深度学习的 Activity Graph Transformer 模型，可以对视频进行端到端分析，精确定位和识别视频内的特定事件活动，并通过非线性图推理方法捕获视频内事件之间的复杂时间结构。实验结果显示此方法在三个具有挑战性的数据集上均优于当前领先的方法。

    Jan, 2021

  • 在教学视频中基于视频图像挖掘的按键识别

    我们提出从视频中自动发现任务图表示人们如何执行关键步骤的概率，并利用该图来规范化新视频中的关键步骤识别，从而在多个真实世界教学视频数据集上展示了影响：更可靠的零样本关键步骤定位和改进的视频表示学习，超越了现有技术水平。

    Jul, 2023

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 基于动态任务分解和代理生成的多智能体框架 TDAG

    我们提出了一种基于动态任务分解和代理生成（TDAG）的多代理框架，该框架将复杂任务动态分解为较小的子任务，并将每个子任务分配给生成的特定子代理，在增强多样且不可预测的真实世界任务中提高适应性。同时，我们引入了 ItineraryBench 作为旅行规划领域的评估系统来评估智能体在记忆、规划和工具使用等不同复杂性任务中的能力，实验结果表明 TDAG 在复杂任务场景中展现出卓越的适应性和上下文感知能力。

    Feb, 2024

  • 使用行动图进行组合式视频合成

    本文首次提出 Action Graph 结构来实现多协调及可能同时进行的时间动作相关视频的生成方式，通过 AG2Vid 模型实现了运动和外观特征的分离，并引入了调度机制以协助视频生成，经过对 CATER 和 Something-Something V2 数据集的训练和评估，证明与基线相比，所生成的视频具有更好的视觉质量和语义一致性。同时，该模型还展现了零样本能力，在生成已学习动作的新组合等方面表现出良好的效果。

    Jun, 2020

  • 基于 And-Or 图表示的神经任务规划

    本文提出了使用长短时记忆网络和知识与或图来解决语义任务规划问题，通过训练辅助 LSTM 网络，可以产生很多有效的样本，进而提高模型的训练效果，实验证明该方法对于解决日常任务规划问题有很好的效果。

    Aug, 2018

  • 教学视频中的程序规划

    本文提出 Dual Dynamics Networks（DDN）框架来解决学习结构化的、可规划的状态和动作空间的技术挑战，以应对复杂任务规划的问题；DDN 框架在真实世界的教学视频上展示了更好的规划性能。

    Jul, 2019