Nov, 2021

UBoCo: 无监督边界对比学习用于通用事件边界检测

PDF
TL;DR本文提出了一种新的框架，使用时间自相似矩阵作为视频表示，通过利用本地对角模式和边界对比损失检测边界，并将其应用于机器学习中。该方法在 Generic Event Boundary Detection 领域实验中表现出了卓越的效果，且无监督法优于有监督法。
generic event boundary detectionvideo understandingtemporal self-similarity matrixrecursive tsm parsingboundary contrastive loss
发现论文，激发创造
  • CVPR'2021 Kinetics-GEBD 挑战赛优胜：对比学习方法

    本论文提出了一种基于对比学习的方法来解决通用事件边界检测（GEBD）的问题。通过使用时间自相似矩阵（Temporal Self-similarity Matrix）来作为信息瓶颈，该方法能够有效地提高模型性能并准确地检测到事件边界。

    Jun, 2021

  • 面向通用事件边界检测的运动感知自我监督

    该研究提出了一种简化的自监督方法并加入可区分的运动特征学习模块，用于识别视频中的 Generic Event Boundary Detection 问题。在 Kinetics-GEBD 和 TAPOS 数据集上的实验证明了该方法的可行性和有效性，并展示了该简单的自监督方法学习运动特征的无需显式的预文本任务。

    Oct, 2022

  • 利用时间运动线索实现无监督通用事件边界检测

    通过使用非参数算法和运动信息，我们提出了 FlowGEBD 方法，该方法在视频中识别通用事件边界，并在 Kinetics-GEBD 和 TAPOS 数据集上表现出超越神经模型的性能。

    Feb, 2024

  • 通用事件边界检测的端到端压缩视频表示学习

    该研究提出了一种基于压缩视频表示学习的端到端事件边界检测新方法，该方法利用压缩域中的丰富信息进行特征提取和边界检测，并在 Kinetics-GEBD 数据集上进行了广泛的实验，取得了与最先进方法相当的结果，并具有更快的运行速度。

    Mar, 2022

  • GEB+: 通用事件边界字幕、关联和检索基准

    本文介绍了一个新的数据集 Kinetic-GEB+，该数据集有助于通过状态更改促进视频的细粒度、鲁棒性和类人理解，还设计了新的 TPD 建模方法，可使视觉差异的表示和精确定位状态更改得到显著的性能改进。

    Apr, 2022

  • 通用事件边界检测：事件分割的基准测试

    本研究提出了一项新任务及其新基准，用于检测将整个视频分割成块的通用、无分类学的事件边界。

    Jan, 2021

  • MAE-GEBD: 赢得 CVPR'2023 LOVEU-GEBD 挑战

    本文在去年 MAE-GEBD 方法的基础上，通过调整数据处理策略和损失函数，将伪标签应用于更大的数据集，并尝试许多实验，将焦点损失应用于困难样本并改善模型性能。最后，我们改进了去年使用的分割对齐策略，根据视频的边界密度和持续时间动态调整分割对齐方法，让模型可以在不同情况下更加灵活和适用，并在 Kinetics-GEBD 测试集上获得了 86.03％的 F1 分数，与我们 2022 年的 Kinetics-GEBD 方法相比，F1 分数提高了 0.09％。

    Jun, 2023

  • 局部压缩视频流学习用于通用事件边界检测

    使用压缩视频表示学习方法进行事件边界检测，利用压缩域中的丰富信息，提取 P 帧特征并使用轻量级 ConvNets 和时序关系捕捉器进行特征表示精炼，最后使用简单分类器确定视频序列的事件边界。

    Sep, 2023

  • 用于通用事件边界字幕生成的双流 Transformer

    本文介绍了我们在 CVPR2022 Generic Event Boundary Captioning 竞赛中的冠军方案，提出了一种名为 Dual-Stream Transformer 的模型，利用三个预训练模型从不同颗粒度提取视频特征以辅助生成说说内容，设计了词级集成策略以提升生成质量，在 GEBC 测试集上取得了良好的效果。

    Jul, 2022

  • LLMVA-GEBC: 带通用事件边界字幕视频适配器的大型语言模型

    本文详细介绍了我们在 CVPR 2023 通用事件边界字幕（GEBC）比赛中的得奖作品，提出了 LLMVA-GEBC 模型，该模型采用预训练 LLM 生成高质量的人类式字幕，在训练固定的视觉特征提取和 LLM 同时采用视频 Q-former 作为适配器以适应 GEBC 任务，最终在测试集上取得了 76.14 分的高得分并获得了第一名 。

    Jun, 2023