本文详细介绍了我们在 CVPR 2023 通用事件边界字幕（GEBC）比赛中的得奖作品，提出了 LLMVA-GEBC 模型，该模型采用预训练 LLM 生成高质量的人类式字幕，在训练固定的视觉特征提取和 LLM 同时采用视频 Q-former 作为适配器以适应 GEBC 任务，最终在测试集上取得了 76.14 分的高得分并获得了第一名 。

Jun, 2023

该论文提出了一种关于 Generic Event Boundary Detection 的算法，通过增加 transformer decoder 模块、引入多类分类器分支和光流等来改进现有的 SC-Transformer 方法，并使用模型集成来进一步提高性能。在 Kinetics-GEBD 测试集上，该方法的 F1 得分为 86.49％，比之前最佳方法提高了 2.86％F1 得分。

Jun, 2022

本文介绍了一个新的数据集 Kinetic-GEB+，该数据集有助于通过状态更改促进视频的细粒度、鲁棒性和类人理解，还设计了新的 TPD 建模方法，可使视觉差异的表示和精确定位状态更改得到显著的性能改进。

Apr, 2022

本论文提出了一种基于对比学习的方法来解决通用事件边界检测（GEBD）的问题。通过使用时间自相似矩阵（Temporal Self-similarity Matrix）来作为信息瓶颈，该方法能够有效地提高模型性能并准确地检测到事件边界。

Jun, 2021

本文提出了一种新的框架，使用时间自相似矩阵作为视频表示，通过利用本地对角模式和边界对比损失检测边界，并将其应用于机器学习中。该方法在 Generic Event Boundary Detection 领域实验中表现出了卓越的效果，且无监督法优于有监督法。

Nov, 2021

该研究提出了一种基于压缩视频表示学习的端到端事件边界检测新方法，该方法利用压缩域中的丰富信息进行特征提取和边界检测，并在 Kinetics-GEBD 数据集上进行了广泛的实验，取得了与最先进方法相当的结果，并具有更快的运行速度。

Mar, 2022

该研究提出了一种简化的自监督方法并加入可区分的运动特征学习模块，用于识别视频中的 Generic Event Boundary Detection 问题。在 Kinetics-GEBD 和 TAPOS 数据集上的实验证明了该方法的可行性和有效性，并展示了该简单的自监督方法学习运动特征的无需显式的预文本任务。

Oct, 2022

本研究提出了一种基于 Transformer 模型的端到端的视频描述生成方法来解决 dense video captioning 中语言描述与事件提案建立之间的直接联系问题，并通过 ActivityNet Captions 和 YouCookII 数据集的实验表明其性能提高。

Apr, 2018

使用压缩视频表示学习方法进行事件边界检测，利用压缩域中的丰富信息，提取 P 帧特征并使用轻量级 ConvNets 和时序关系捕捉器进行特征表示精炼，最后使用简单分类器确定视频序列的事件边界。

Sep, 2023

本研究提出一种双向提案方法、注意力融合和上下文门控机制，将提案与字幕模块结合到一个统一的框架中，以在活动网字幕数据集上实现相对增益超过 100％（Meteor 得分从 4.82 增加到 9.65）的优异表现。

Mar, 2018