Jun, 2023

Ego4D 情景记忆挑战 2023 的行动敏感度学习

PDF
TL;DR本报告介绍了 ReLER 在 Ego4D 情节记忆基准测试中提交的两个轨道，包括自然语言查询和时刻查询。我们的解决方案继承了我们提出的行动敏感性学习框架（ASL），以更好地捕捉帧的差异信息。此外，我们整合了一系列更强大的视频特征和融合策略。我们的方法在时刻查询挑战赛中获得了 29.34 的平均 mAP，排名第 1，在自然语言查询挑战中获得了 19.79 的平均 R1，排名第 2。我们的代码将发布。
relerego4d episodic memory benchmarkaction sensitivity learningvideo featuresfusion strategies
发现论文，激发创造
  • ObjectNLQ @ Ego4D Episodic Memory Challenge 2024

    本文介绍了我们在 CVPR 2024 的 Ego4D Episodic Memory Benchmark 中，对于自然语言查询和目标步骤的研究领域的方法。我们的方法不仅处理了视频的时间信息，还在帧内空间上识别了细粒度对象，通过引入 ObjectNLQ 来增强视频表示，提高了定位的准确性。

    Jun, 2024

  • 动作敏感度学习用于时间动作定位

    本研究提出了一种 Action Sensitivity Learning 框架，旨在识别和定位动作示例，并通过轻量级的 Action Sensitivity Evaluator 和 Action Sensitive Contrastive Loss 实现对应的学习和训练。实验结果表明，该框架在多种场景下均优于现有技术，达到了最高的平均 mAP 值。

    May, 2023

  • 对于 Ego4D Moment 查询，NMS 阈值很重要 -- 2023 Ego4D Moment 查询挑战赛第二名解决方案

    本文介绍了我们团队对 Ego4D Moment Queries Challenge 2023 的提交，扩展了 ActionFormer 方法以实现时间动作定位，并在训练过程中改进了地面真实分配策略和使用了精炼的 SoftNMS 方法，取得了显著的成果。我们的解决方案在测试集上获得平均 mAP 26.62％和 tIoU=0.5 时的 Recall@1x 45.69％，并排在公共排行榜上第二名。

    Jul, 2023

  • ReLER@ZJU-Alibaba 参加 Ego4D 自然语言查询竞赛 2022

    使用多尺度跨模态 Transformer 和视频帧级对比损失来解决 Ego4D 自然语言查询挑战问题，该方法在排行榜上排名第一。

    Jul, 2022

  • 当坚强的骨架遇见强大的特征 —— 用于 Ego4D 时刻查询挑战的 ActionFormer

    我们在 Ego4D Moment Queries Challenge 2022 的比赛中使用了 ActionFormer 作为主体，加上 SlowFast、Omnivore 和 EgoVLP 三种强大的视频特征，我们的解决方案在测试集上的平均 mAP 为 21.76％，是官方基线的三倍，同时我们在 tIoU = 0.5 下获得 42.54％的 Recall @1x， 绝对百分比达 1.41 个百分点的显着优势。

    Nov, 2022

  • 2023 Ego4D 长期行动预测挑战技术报告

    本报告描述了我们在 Ego4D 長期動作預測挑战赛 2023 中的技术细节，我们引入了三个改进，包括 SlowFast 和 SlowFast-CLIP 模型的集合，放松未来动作的顺序限制，以及基于词共现的操作类（动词、名词）的预测，优化了基线性能，取得了公共排行榜的第二名。

    Jul, 2023

  • 探索基于 Anchor 的自我 4D 自然语言查询检测

    本文提供 CVPR 2022 中 Ego4D 自然语言查询挑战的技术报告，针对当前自然语言查询任务使用第三人称视角数据集，未涉及目前使用第一人称视角数据集（例如 Ego4D）面临的较小时间跨度和更复杂的视频理解问题，论文提出解决这些问题的方案。

    Aug, 2022

  • 自我中心动作检测的更强基线

    本研究介绍了一种针对 2021 EPIC-KITCHENS-100 竞赛中的自我中心视频动作检测方法，其主要采用滑动窗口策略生成建议，以较高的效率提高任务的检测性能。通过简单地采用这些策略，我们使用单个模型在测试集上达到了 16.10％的性能，相对于基线方法平均 mAP 提高了 11.7％。

    Jun, 2021

  • 自我中心视觉查询 2D 定位中负面帧至关重要

    该研究在 Ego4D dataset 基础上提出了针对 2D 视觉图像中的目标检测与跟踪问题的效率更高、效果更好的 baseline 解决方案，并在公共排行榜上表现出色。

    Aug, 2022

  • FBK-HUPBA 参加 EPIC-Kitchens 动作识别 2020 挑战赛

    本文介绍了我们参加 EPIC-Kitchens 2020 挑战赛所使用的技术细节，我们使用 Gate-Shift 模块和 EgoACO 来产生预测分数，最终我们的提交记录在公共排行榜上取得了 40.0％的 top-1 动作识别精度，使用了仅 RGB 的 S1 设置和 25.71％的 S2 设置。

    Jun, 2020