本文介绍了我们团队对 Ego4D Moment Queries Challenge 2023 的提交，扩展了 ActionFormer 方法以实现时间动作定位，并在训练过程中改进了地面真实分配策略和使用了精炼的 SoftNMS 方法，取得了显著的成果。我们的解决方案在测试集上获得平均 mAP 26.62％和 tIoU=0.5 时的 Recall@1x 45.69％，并排在公共排行榜上第二名。

Jul, 2023

本报告介绍了 ReLER 在 Ego4D 情节记忆基准测试中提交的两个轨道，包括自然语言查询和时刻查询。我们的解决方案继承了我们提出的行动敏感性学习框架（ASL），以更好地捕捉帧的差异信息。此外，我们整合了一系列更强大的视频特征和融合策略。我们的方法在时刻查询挑战赛中获得了 29.34 的平均 mAP，排名第 1，在自然语言查询挑战中获得了 19.79 的平均 R1，排名第 2。我们的代码将发布。

Jun, 2023

ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

Feb, 2022

本报告描述了我们在 Ego4D 長期動作預測挑战赛 2023 中的技术细节，我们引入了三个改进，包括 SlowFast 和 SlowFast-CLIP 模型的集合，放松未来动作的顺序限制，以及基于词共现的操作类（动词、名词）的预测，优化了基线性能，取得了公共排行榜的第二名。

Jul, 2023

本文使用 InternVideo 模型在 Ego4D 的 5 个任务中取得了优异的表现，包括 Moment Queries、Natural Language Queries、预测未来的手部动作、目标检测和短期目标交互预测。该模型适用于下游的自我中心视频理解任务，性能显著优于基线方法和 CVPR2022 的冠军，表现出其强大的表示能力。

Nov, 2022

本研究介绍了一种针对 2021 EPIC-KITCHENS-100 竞赛中的自我中心视频动作检测方法，其主要采用滑动窗口策略生成建议，以较高的效率提高任务的检测性能。通过简单地采用这些策略，我们使用单个模型在测试集上达到了 16.10％的性能，相对于基线方法平均 mAP 提高了 11.7％。

Jun, 2021

本文报道了我们在长期行动预测方面使用图像 - 文本模型的调整。我们的视频 + CLIP 框架利用了大规模预先训练的成对图像 - 文本模型：CLIP 和视频编码器 Slowfast 网络。两个编码器得到的特征互补，因此在 Ego4D 上的长期行动预测任务中优于基线。我们的代码位于 github.com/srijandas07/clip_baseline_LTA_Ego4d。

Jul, 2022

本文介绍了我们参加 EPIC-Kitchens 2020 挑战赛所使用的技术细节，我们使用 Gate-Shift 模块和 EgoACO 来产生预测分数，最终我们的提交记录在公共排行榜上取得了 40.0％的 top-1 动作识别精度，使用了仅 RGB 的 S1 设置和 25.71％的 S2 设置。

Jun, 2020

本文介绍了我们在 CVPR 2024 的 Ego4D Episodic Memory Benchmark 中，对于自然语言查询和目标步骤的研究领域的方法。我们的方法不仅处理了视频的时间信息，还在帧内空间上识别了细粒度对象，通过引入 ObjectNLQ 来增强视频表示，提高了定位的准确性。

Jun, 2024

该研究在 Ego4D dataset 基础上提出了针对 2D 视觉图像中的目标检测与跟踪问题的效率更高、效果更好的 baseline 解决方案，并在公共排行榜上表现出色。

Aug, 2022