CVPR'2021 Kinetics-GEBD 挑战赛优胜:对比学习方法
本文在去年 MAE-GEBD 方法的基础上,通过调整数据处理策略和损失函数,将伪标签应用于更大的数据集,并尝试许多实验,将焦点损失应用于困难样本并改善模型性能。最后,我们改进了去年使用的分割对齐策略,根据视频的边界密度和持续时间动态调整分割对齐方法,让模型可以在不同情况下更加灵活和适用,并在 Kinetics-GEBD 测试集上获得了 86.03%的 F1 分数,与我们 2022 年的 Kinetics-GEBD 方法相比,F1 分数提高了 0.09%。
Jun, 2023
该研究提出了一种简化的自监督方法并加入可区分的运动特征学习模块,用于识别视频中的 Generic Event Boundary Detection 问题。在 Kinetics-GEBD 和 TAPOS 数据集上的实验证明了该方法的可行性和有效性,并展示了该简单的自监督方法学习运动特征的无需显式的预文本任务。
Oct, 2022
本文介绍了一个新的数据集 Kinetic-GEB+,该数据集有助于通过状态更改促进视频的细粒度、鲁棒性和类人理解,还设计了新的 TPD 建模方法,可使视觉差异的表示和精确定位状态更改得到显著的性能改进。
Apr, 2022
本文提出了一种新的框架,使用时间自相似矩阵作为视频表示,通过利用本地对角模式和边界对比损失检测边界,并将其应用于机器学习中。该方法在 Generic Event Boundary Detection 领域实验中表现出了卓越的效果,且无监督法优于有监督法。
Nov, 2021
通过使用非参数算法和运动信息,我们提出了 FlowGEBD 方法,该方法在视频中识别通用事件边界,并在 Kinetics-GEBD 和 TAPOS 数据集上表现出超越神经模型的性能。
Feb, 2024
该研究提出了一种基于压缩视频表示学习的端到端事件边界检测新方法,该方法利用压缩域中的丰富信息进行特征提取和边界检测,并在 Kinetics-GEBD 数据集上进行了广泛的实验,取得了与最先进方法相当的结果,并具有更快的运行速度。
Mar, 2022
使用压缩视频表示学习方法进行事件边界检测,利用压缩域中的丰富信息,提取 P 帧特征并使用轻量级 ConvNets 和时序关系捕捉器进行特征表示精炼,最后使用简单分类器确定视频序列的事件边界。
Sep, 2023
本文详细介绍了我们在 CVPR 2023 通用事件边界字幕(GEBC)比赛中的得奖作品,提出了 LLMVA-GEBC 模型,该模型采用预训练 LLM 生成高质量的人类式字幕,在训练固定的视觉特征提取和 LLM 同时采用视频 Q-former 作为适配器以适应 GEBC 任务,最终在测试集上取得了 76.14 分的高得分并获得了第一名 。
Jun, 2023
该论文提出了一种关于 Generic Event Boundary Detection 的算法,通过增加 transformer decoder 模块、引入多类分类器分支和光流等来改进现有的 SC-Transformer 方法,并使用模型集成来进一步提高性能。在 Kinetics-GEBD 测试集上,该方法的 F1 得分为 86.49%,比之前最佳方法提高了 2.86%F1 得分。
Jun, 2022