本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

Jun, 2023

本研究提出使用基于自然语言查询的 Narrations-as-Queries（NaQ）数据增强策略，用于训练视频查询定位模型，并通过在 Ego4D 基准测试中进行验证表明，该方法带来了突出的 NLQ 结果，甚至达到了其他竞赛获胜者所未能达到的最佳结果。

Jan, 2023

使用多尺度跨模态 Transformer 和视频帧级对比损失来解决 Ego4D 自然语言查询挑战问题，该方法在排行榜上排名第一。

Jul, 2022

本报告介绍了 ReLER 在 Ego4D 情节记忆基准测试中提交的两个轨道，包括自然语言查询和时刻查询。我们的解决方案继承了我们提出的行动敏感性学习框架（ASL），以更好地捕捉帧的差异信息。此外，我们整合了一系列更强大的视频特征和融合策略。我们的方法在时刻查询挑战赛中获得了 29.34 的平均 mAP，排名第 1，在自然语言查询挑战中获得了 19.79 的平均 R1，排名第 2。我们的代码将发布。

Jun, 2023

本文提供 CVPR 2022 中 Ego4D 自然语言查询挑战的技术报告，针对当前自然语言查询任务使用第三人称视角数据集，未涉及目前使用第一人称视角数据集（例如 Ego4D）面临的较小时间跨度和更复杂的视频理解问题，论文提出解决这些问题的方案。

Aug, 2022

该研究在 Ego4D dataset 基础上提出了针对 2D 视觉图像中的目标检测与跟踪问题的效率更高、效果更好的 baseline 解决方案，并在公共排行榜上表现出色。

Aug, 2022

提出了一种用于长格式自我中心视频上识别和定位特定对象的单阶段 VQL 框架，该框架比之前的方法精度提高了 20％，推断速度提高了 10 倍。

Jun, 2023

通过使用多个预训练模型从广泛的自我中心视频内容中回答查询，本研究引入了 LifelongMemory，这是一种利用大型语言模型和视觉语言模型的新框架，以解决在复杂的视觉语言任务中捕捉长距离时间依赖关系的问题。

Dec, 2023

本文提出了一种新的基于自然语言描述的目标跟踪方法，通过建立一个自然语言驱动的跟踪器的基准测试数据集，并提出了两个新的挑战来促进相关研究，旨在提高跟踪性能的灵活性、鲁棒性和准确性。

Mar, 2021

本技术报告介绍了 ECCV 2022 中 Ego4D 自然语言查询（NLQ）挑战的 CONE 方法。该方法利用了 COarse-to-fiNE 对齐框架，通过对比学习学习了粗粒度语义方差，同时利用对比视觉 - 文本预训练模型 EgoVLP 的强大多模态对齐能力，突出关键时刻，最终在盲测试集上取得了 R1@IoU=0.3 和 R1@IoU=0.5 的分别为 15.26 和 9.24 的结果。

Nov, 2022