Mar, 2023

DiffTAD: 带有提案去噪扩散的时间动作检测

PDF
TL;DR本文提出了一种使用扩散去噪的新时域动作检测（TAD）方法，名为 DiffTAD。该方法采用生成建模方法，而非以往判别式学习方法，借助 Transformer decoder 中引入的时间位置查询设计来建立去噪过程，通过交叉步选择性调节算法来提高推断速度。在 ActivityNet 和 THUMOS 上广泛评估后，我们的 DiffTAD 相比以往的艺术选择方案，表现出卓越的性能。
temporal action detectiongenerative modelingdiffusiontransformer decoderselective conditioning algorithm
发现论文，激发创造
  • 增强即时可辨性的时间动作定位

    基于 TriDet 模型的时间动作检测（TAD）在多个 TAD 数据集上表现出鲁棒性和最先进的性能，包括分层（多标签）TAD 数据集。

    Sep, 2023

  • 稀疏提议优化高质量时序动作检测

    本文提出了一种名为 SP-TAD 的方法来应对在时间行为检测上的挑战，其利用了稀疏 proposal 和特征金字塔来构建多尺度特征以准确捕捉行为细节，实验结果表明，该方法取得了与现有最优方法相媲美的性能。

    Sep, 2021

  • 使用 Transformer 进行端到端时序动作检测

    本研究提出了一种基于 Transformer 的时态动作检测方法，通过少量学习嵌入（称为动作查询）从视频中自适应地提取时间上下文信息，并直接预测动作实例的时间间隔和语义标签，通过三种改进提高本地化意识，实现了端到端的学习，并取得了与现有方法相比的卓越性能。

    Jun, 2021

  • 松弛 Transformer 解码器用于直接行动提议生成

    这篇论文提出了 RTD-Net 框架，利用 Transformer 类似的架构直接生成动作建议，通过在时间范围内更好地捕捉长程时间信息的边界注意模块来应对视频中的缓慢先前，通过松弛匹配方案来缓解对每个真实值的单一分配的限制，并使用三分支头明确地预测其完整性来进一步提高提案置信度，从而在 THUMOS14 和 ActivityNet-1.3 基准测试中具有很好的效果，同时比以前的提案生成方法更有效率。

    Feb, 2021

  • 后处理时间性行为检测

    本研究旨在解决现有时间序列动作检测算法常常在预处理阶段对视频进行下采样和采样恢复所带来的时间量化误差问题，并介绍了一种新的基于高斯分布的模型无关的后处理方法，称为 Gaussian Approximated Post-processing (GAP)，通过此方法可以在子片段级别上实现时间边界推断，在多项挑战性基准测试中，GAP 已经被证明可以显著提高各种预训练 TAD 模型的性能，并且可以与模型训练集成以进一步提高性能。

    Nov, 2022

  • TEDi: 长期运动合成的时间交织扩散

    我们提出了一种将渐进扩散概念（沿着扩散时间轴操作）扩展到运动序列的方法，用于支持时变去噪，从而将两个轴相互纠缠，通过迭代去噪逐渐增加噪声位移的动作缓冲区，并产生任意长的帧流，为长期运动合成提供了新的框架。

    Jul, 2023

  • 通过图像扩散过程进行动作检测

    通过 ADIDiff 框架的三图像生成过程，本研究旨在通过图像生成开始点、结束点和动作类别预测的图像来解决动作检测问题，并通过离散的行列转换器设计来处理特殊属性的图像，从而在两个广泛使用的数据集上取得了最先进的结果。

    Apr, 2024

  • AdaDiff：自适应步长选择的快速扩散

    AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。

    Nov, 2023

  • 双重 DETR 用于多标签时间动作检测

    提出了一种新的双层查询型时态行动检测框架 DualDETR，在多标签 TAD 基准测试中表现出优于现有最先进方法的性能，在 det-mAP 下实现了显著改进，在 seg-mAP 下取得了令人印象深刻的结果。

    Mar, 2024

  • 关系查询下的时间行为检测 (ReAct)

    本文提出了一种名为 ReAct 的时域动作检测模型，采用编解码框架和动作查询相似于 DETR，使用关系注意力机制和两个损失函数加强动作分类的训练，最后通过预测每个动作查询的本地化质量来区分高质量的查询，该模型在 THUMOS14 上取得了最先进的性能，并降低了计算成本。

    Jul, 2022