CVPRDec, 2021

通用事件边界检测中多级稠密差分图的渐进式关注

PDF
TL;DR本文介绍了一种名为 DDM-Net 的框架，通过构建特征库、密集差分图（DDM）及逐步注意力等方法，结合外观和运动线索，在视频理解领域中有效地实现识别和分析事件边界，最终比 LOVEU Challenge@CVPR 2021 的获胜解决方案性能更优，且在 Kinetics-GEBD 和 TAPOS 基准测试中分别取得了 14% 和 8% 的显著提升。
event boundary detectionddm-netmotion representationprogressive attentionvideo understanding
发现论文，激发创造
  • 通用事件边界检测的端到端压缩视频表示学习

    该研究提出了一种基于压缩视频表示学习的端到端事件边界检测新方法，该方法利用压缩域中的丰富信息进行特征提取和边界检测，并在 Kinetics-GEBD 数据集上进行了广泛的实验，取得了与最先进方法相当的结果，并具有更快的运行速度。

    Mar, 2022

  • 面向通用事件边界检测的运动感知自我监督

    该研究提出了一种简化的自监督方法并加入可区分的运动特征学习模块，用于识别视频中的 Generic Event Boundary Detection 问题。在 Kinetics-GEBD 和 TAPOS 数据集上的实验证明了该方法的可行性和有效性，并展示了该简单的自监督方法学习运动特征的无需显式的预文本任务。

    Oct, 2022

  • 局部压缩视频流学习用于通用事件边界检测

    使用压缩视频表示学习方法进行事件边界检测，利用压缩域中的丰富信息，提取 P 帧特征并使用轻量级 ConvNets 和时序关系捕捉器进行特征表示精炼，最后使用简单分类器确定视频序列的事件边界。

    Sep, 2023

  • CVPR'2021 Kinetics-GEBD 挑战赛优胜：对比学习方法

    本论文提出了一种基于对比学习的方法来解决通用事件边界检测（GEBD）的问题。通过使用时间自相似矩阵（Temporal Self-similarity Matrix）来作为信息瓶颈，该方法能够有效地提高模型性能并准确地检测到事件边界。

    Jun, 2021

  • 用于事件检测的区分性 CNN 视频表示

    本文讨论如何利用深度卷积神经网络和适当的编码方法来提高视频事件检测的性能，建议使用潜在概念描述符作为帧描述符，并实现新的最先进性能。

    Nov, 2014

  • GEB+: 通用事件边界字幕、关联和检索基准

    本文介绍了一个新的数据集 Kinetic-GEB+，该数据集有助于通过状态更改促进视频的细粒度、鲁棒性和类人理解，还设计了新的 TPD 建模方法，可使视觉差异的表示和精确定位状态更改得到显著的性能改进。

    Apr, 2022

  • MAE-GEBD: 赢得 CVPR'2023 LOVEU-GEBD 挑战

    本文在去年 MAE-GEBD 方法的基础上，通过调整数据处理策略和损失函数，将伪标签应用于更大的数据集，并尝试许多实验，将焦点损失应用于困难样本并改善模型性能。最后，我们改进了去年使用的分割对齐策略，根据视频的边界密度和持续时间动态调整分割对齐方法，让模型可以在不同情况下更加灵活和适用，并在 Kinetics-GEBD 测试集上获得了 86.03％的 F1 分数，与我们 2022 年的 Kinetics-GEBD 方法相比，F1 分数提高了 0.09％。

    Jun, 2023

  • 基于差分特征引导 DDPM 的变化检测图生成的变化传播

    本研究提出了基于 DDPM 的 change-aware diffusion model (CADM) 模型，使用有限的标注数据快速训练，采用动态差分条件编码来增强 bitemporal change detection 任务中的区域注意力，实验结果表明相对于现有模型表现显著更优，充分说明了该模型的泛化性和有效性。

    Jun, 2023

  • 基于事件的动态模糊矫正学习

    本文提出了一种基于事件相机的深度学习方法，通过卷积循环神经网络和可微分方向事件过滤模块整合全局和局部尺度的视觉和时态知识，提取边界先验信息，从而达到了恢复运动模糊图像的最佳质量，适用于真实世界的运动模糊问题。

    Apr, 2020

  • 通用事件边界检测：事件分割的基准测试

    本研究提出了一项新任务及其新基准，用于检测将整个视频分割成块的通用、无分类学的事件边界。

    Jan, 2021