Mar, 2024

ActionDiffusion: 一个针对教学视频程序规划的动作感知扩散模型

PDF
TL;DR我们提出了一个新颖的扩散模型 ActionDiffusion，用于指导教学视频中的过程规划，它是第一个在扩散模型中考虑动作之间的时间依赖关系，与现有方法相比，利用了动作按特定顺序执行的丰富信息内容。我们的方法通过将动作信息投影到噪声空间实现了对动作的学习和扩散过程中的去噪，其中，在噪声添加阶段通过在噪声掩码中添加动作嵌入，并通过在噪声预测网络中引入注意机制来学习不同动作步骤之间的相关性。我们在三个教学视频基准数据集（CrossTask、Coin 和 NIV）上进行了广泛的实验，并展示了我们的方法在 CrossTask 和 NIV 的所有指标以及 Coin 数据集上的除准确性以外的所有指标上胜过了以前的最先进方法。我们的研究结果表明，通过将动作嵌入添加到噪声掩码中，扩散模型能够更好地学习动作的时间依赖关系，并提高了过程规划的性能。
发现论文，激发创造
  • 面具扩散 + 任务感知：教学视频中的程序规划

    在教学视频的程序规划中，处理由多个属于不同任务的动作类型组成的决策空间是一个关键挑战。为了理解现实世界的视频内容，人工智能代理系统必须能够根据简要的视觉观察熟练地区分这些动作类型，并能够捕捉这些动作类型与任务目标之间的复杂语义关系以及可变的动作序列。最近，通过集成扩散模型和视觉表示学习取得了显著进展来应对这一挑战。然而，现有模型使用了基本机制来利用任务信息来管理决策空间。为了克服这个限制，我们引入了一种简单而有效的增强方法 - 掩蔽扩散模型。引入的掩蔽机制类似于一种面向任务的注意力过滤器，使得扩散 / 去噪过程能够集中在一部分动作类型上。此外，为了增强任务分类的准确性，我们采用了更强大的视觉表示学习技术。特别地，我们学习了一个联合视觉 - 文本嵌入，其中文本嵌入是通过提示一个预先训练的视觉 - 语言模型关注人类动作来生成的。我们在三个公共数据集上评估了该方法，并在多个指标上取得了最先进的性能。

    Sep, 2023

  • 教学视频中的过程规划：PDPP 算法

    研究了指导视频中的过程规划问题，使用扩散模型进行分布拟合，从中采样操作序列达到规划目标，并在三个数据集上验证了其优于当前方法的性能表现。

    Mar, 2023

  • DiffAnt：行动预测的扩散模型

    该研究采用扩散模型来从生成视角重新思考行动预测，在考虑未来的不确定性的情况下，通过生成多种可能的未来行动。对四个基准数据集进行了广泛实验证明该方法在行动预测方面取得了优秀的效果。

    Nov, 2023

  • 通过图像扩散过程进行动作检测

    通过 ADIDiff 框架的三图像生成过程，本研究旨在通过图像生成开始点、结束点和动作类别预测的图像来解决动作检测问题，并通过离散的行列转换器设计来处理特殊属性的图像，从而在两个广泛使用的数据集上取得了最先进的结果。

    Apr, 2024

  • DiffTAD: 带有提案去噪扩散的时间动作检测

    本文提出了一种使用扩散去噪的新时域动作检测（TAD）方法，名为 DiffTAD。该方法采用生成建模方法，而非以往判别式学习方法，借助 Transformer decoder 中引入的时间位置查询设计来建立去噪过程，通过交叉步选择性调节算法来提高推断速度。在 ActivityNet 和 THUMOS 上广泛评估后，我们的 DiffTAD 相比以往的艺术选择方案，表现出卓越的性能。

    Mar, 2023

  • 面向意图的去噪扩散模型的轨迹预测

    使用散射模型生成多个合理的未来轨迹分布，通过解决时间消耗和意图不确定性的问题，能够提高推理速度并实现更少的扩散步骤。

    Mar, 2024

  • Skip-Plan：通过简化的行动空间学习在教学视频中进行程序规划

    通过跳过不确定的节点和边，在行动链中以简化行动空间的方式，我们的模型能够探索行动序列中各种可靠的子关系，并在 CrossTask 和 COIN 两个评估数据集上达到了最先进的性能。

    Oct, 2023

  • VIDiff: 多模态指令扩散模型的视频翻译

    我们提出了 Video Instruction Diffusion（VIDiff），这是一个统一的基础模型，专为广泛的视频任务设计，包括理解任务（如语言引导的视频对象分割）和生成任务（视频编辑和增强）。我们的模型可以根据用户指令在几秒钟内编辑和翻译所需的结果，并设计了一个迭代的自回归方法来确保对长视频的一致性编辑和增强。我们以定性和定量的方式提供了对各种输入视频和书面指令的令人信服的生成结果。

    Nov, 2023

  • 运动规划扩散：使用扩散模型学习和规划机器人动作

    学习轨迹分布的先验信息可以帮助加速机器人运动规划优化，本工作提出了学习扩散模型作为先验信息的方法，并通过扩散模型的逆去噪过程在任务目标条件下直接从后验轨迹分布中进行采样，实验证明扩散模型是编码高维机器人运动轨迹分布的强先验。

    Aug, 2023

  • 利用扩散计划实现灵活的行为合成

    本文通过扩展动力学模型，利用扩散概率模型去掉了传统轨迹优化方法的瓶颈，将采样和计划步骤近乎完全融合，通过分类器和图像插值获得了在线规划策略，并在长期决策和测试时间灵活性强的控制环境中成功应用了该框架。

    May, 2022