CVPRAug, 2022

自我中心视觉查询 2D 定位中负面帧至关重要

PDF
TL;DR该研究在 Ego4D dataset 基础上提出了针对 2D 视觉图像中的目标检测与跟踪问题的效率更高、效果更好的 baseline 解决方案，并在公共排行榜上表现出色。
ego4d datasetvisual queries 2d localizationobject detectiontrackingbaseline
发现论文，激发创造
  • 为自我中心视频估计更多的相机姿态对于 VQ3D 至关重要

    通过设计新的 pipeline 并重新优化现有的 VQ3D 框架，我们在 VQ3D 排行榜中取得了 25.8% 的最佳成绩，比基线 8.7% 提高了两倍。

    Nov, 2022

  • 自我中心视频中的单阶段视觉查询定位

    提出了一种用于长格式自我中心视频上识别和定位特定对象的单阶段 VQL 框架，该框架比之前的方法精度提高了 20％，推断速度提高了 10 倍。

    Jun, 2023

  • 基于贝叶斯决策的二维视觉查询定位

    本文介绍了我们在 EGO4D 2023 视觉查询二维定位挑战赛中采用的方法。我们使用 Transformer 在更高维度上确定相似性并结合来自 Siamese Head 的低维度相似性生成后验概率，最终确定了视觉裁剪和所建议边界框之间的相似性。

    May, 2023

  • ObjectNLQ @ Ego4D Episodic Memory Challenge 2024

    本文介绍了我们在 CVPR 2024 的 Ego4D Episodic Memory Benchmark 中，对于自然语言查询和目标步骤的研究领域的方法。我们的方法不仅处理了视频的时间信息，还在帧内空间上识别了细粒度对象，通过引入 ObjectNLQ 来增强视频表示，提高了定位的准确性。

    Jun, 2024

  • 探索基于 Anchor 的自我 4D 自然语言查询检测

    本文提供 CVPR 2022 中 Ego4D 自然语言查询挑战的技术报告，针对当前自然语言查询任务使用第三人称视角数据集，未涉及目前使用第一人称视角数据集（例如 Ego4D）面临的较小时间跨度和更复杂的视频理解问题，论文提出解决这些问题的方案。

    Aug, 2022

  • 自我中心视听物体定位

    本文提出了一个几何感知的时间聚合模块和级联特征增强模块来解决显式处理自我运动和消除视角移动对音视觉定位的影响，并通过自我监督学习开发 Epic Sounding Object 数据集评估模型，证明了我们的方法在以人为中心的视频中取得了最先进的对象定位性能，并可以推广到不同的音视觉场景。

    Mar, 2023

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • EgoCOL：针对开放世界 3D 物体定位的自我中心相机位姿估计 @Ego4D 挑战赛 2023

    EgoCOL 是一种用于开放世界三维物体定位的自我中心相机姿态估计方法，可以在 3D 渲染中高召回和精度地估计自我中心帧的相机姿态，比 Ego4D 基线更准确地估计相机姿态。

    Jun, 2023

  • 从自我中心视频中的三维场景中实例追踪

    借助自我中心传感器，本研究提出了一种新方法来解决三维视角下的物体实例追踪问题，并证明相比二维追踪方法，基于相机姿态和三维坐标的方法显著提高了追踪性能。

    Dec, 2023

  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021