Jul, 2023

对于 Ego4D Moment 查询，NMS 阈值很重要 -- 2023 Ego4D Moment 查询挑战赛第二名解决方案

PDF
TL;DR本文介绍了我们团队对 Ego4D Moment Queries Challenge 2023 的提交，扩展了 ActionFormer 方法以实现时间动作定位，并在训练过程中改进了地面真实分配策略和使用了精炼的 SoftNMS 方法，取得了显著的成果。我们的解决方案在测试集上获得平均 mAP 26.62％和 tIoU=0.5 时的 Recall@1x 45.69％，并排在公共排行榜上第二名。
ego4d moment queries challengeactionformertemporal action localizationground-truth assignment strategysoftnms
发现论文，激发创造
  • 当坚强的骨架遇见强大的特征 —— 用于 Ego4D 时刻查询挑战的 ActionFormer

    我们在 Ego4D Moment Queries Challenge 2022 的比赛中使用了 ActionFormer 作为主体，加上 SlowFast、Omnivore 和 EgoVLP 三种强大的视频特征，我们的解决方案在测试集上的平均 mAP 为 21.76％，是官方基线的三倍，同时我们在 tIoU = 0.5 下获得 42.54％的 Recall @1x， 绝对百分比达 1.41 个百分点的显着优势。

    Nov, 2022

  • Ego4D 情景记忆挑战 2023 的行动敏感度学习

    本报告介绍了 ReLER 在 Ego4D 情节记忆基准测试中提交的两个轨道，包括自然语言查询和时刻查询。我们的解决方案继承了我们提出的行动敏感性学习框架（ASL），以更好地捕捉帧的差异信息。此外，我们整合了一系列更强大的视频特征和融合策略。我们的方法在时刻查询挑战赛中获得了 29.34 的平均 mAP，排名第 1，在自然语言查询挑战中获得了 19.79 的平均 R1，排名第 2。我们的代码将发布。

    Jun, 2023

  • ObjectNLQ @ Ego4D Episodic Memory Challenge 2024

    本文介绍了我们在 CVPR 2024 的 Ego4D Episodic Memory Benchmark 中，对于自然语言查询和目标步骤的研究领域的方法。我们的方法不仅处理了视频的时间信息，还在帧内空间上识别了细粒度对象，通过引入 ObjectNLQ 来增强视频表示，提高了定位的准确性。

    Jun, 2024

  • 2023 Ego4D 长期行动预测挑战技术报告

    本报告描述了我们在 Ego4D 長期動作預測挑战赛 2023 中的技术细节，我们引入了三个改进，包括 SlowFast 和 SlowFast-CLIP 模型的集合，放松未来动作的顺序限制，以及基于词共现的操作类（动词、名词）的预测，优化了基线性能，取得了公共排行榜的第二名。

    Jul, 2023

  • FBK-HUPBA 参加 EPIC-Kitchens 动作识别 2020 挑战赛

    本文介绍了我们参加 EPIC-Kitchens 2020 挑战赛所使用的技术细节，我们使用 Gate-Shift 模块和 EgoACO 来产生预测分数，最终我们的提交记录在公共排行榜上取得了 40.0％的 top-1 动作识别精度，使用了仅 RGB 的 S1 设置和 25.71％的 S2 设置。

    Jun, 2020

  • MTR-A: 2022 Waymo 开放数据集挑战赛运动预测类第一名解决方案

    本文介绍了使用 Motion Transformer 进行多模态运动预测的 1st Place 解决方案，并采用意图定位和迭代运动细化的策略来生成更好的未来轨迹。采用简单的模型集成策略对数据进行非极大值抑制，最终在 2022 Waymo Open Dataset Challenges 中获得了第一名，超越了其他方法。

    Sep, 2022

  • ReLER@ZJU-Alibaba 参加 Ego4D 自然语言查询竞赛 2022

    使用多尺度跨模态 Transformer 和视频帧级对比损失来解决 Ego4D 自然语言查询挑战问题，该方法在排行榜上排名第一。

    Jul, 2022

  • 自我中心视觉查询 2D 定位中负面帧至关重要

    该研究在 Ego4D dataset 基础上提出了针对 2D 视觉图像中的目标检测与跟踪问题的效率更高、效果更好的 baseline 解决方案，并在公共排行榜上表现出色。

    Aug, 2022

  • 2023 年 GroundNLQ@Ego4D 自然语言查询挑战赛

    本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

    Jun, 2023

  • 自我中心动作检测的更强基线

    本研究介绍了一种针对 2021 EPIC-KITCHENS-100 竞赛中的自我中心视频动作检测方法，其主要采用滑动窗口策略生成建议，以较高的效率提高任务的检测性能。通过简单地采用这些策略，我们使用单个模型在测试集上达到了 16.10％的性能，相对于基线方法平均 mAP 提高了 11.7％。

    Jun, 2021