Jun, 2024

EFM3D：用于衡量 3D 自我的基础模型进展的基准

PDF
TL;DR佩戴型计算机的出现为 AI 提供了一种嵌入式于自我中心传感器数据中的新的上下文来源。本文建立了 EFM3D，一个针对 3D 自我中心感知任务的基准，并提出了 EVL 作为 EFM3D 的基线模型，在大规模模拟数据集上进行训练，并在 EFM3D 基准上优于现有方法。
wearable computersegocentric sensor dataspatial foundation models3d object detectionegocentric voxel lifting
发现论文，激发创造
  • EgoHumans: 一种以自我为中心的三维多人基准测试

    提出了 EgoHumans 数据集，用于改进以往单人或仅局限于室内的 egocentric human 3D 姿势估计和跟踪算法，利用可穿戴相机配备的眼镜的多视角构建全面的 egocentric multi-human 数据集，并采用多流变压器体系结构和显式 3D 空间推理来估计和跟踪人体姿态。

    May, 2023

  • VFMM3D：通过视觉基础模型释放图像的潜能，用于单目三维物体检测

    VFMM3D 利用 Vision Foundation Models (VFMs) 将单视图图像准确转换为 LiDAR 点云表示，生成富有前景信息的伪 LiDAR 数据，以此来进行单目三维目标检测并预测物体的三维坐标。

    Apr, 2024

  • EFEM：三维物体分割的等变神经场期望最大化方法，无需场景监督

    本研究提出一种无需注释或依赖场景训练，利用深度学习进行三维物体分割的算法，通过利用单个物体形状先验信息，采用等变形状表示及新型 EM 算法进行无监督的物体分割。实验结果表明，本算法在有不同物体姿态的场景中表现一致且鲁棒性良好。

    Mar, 2023

  • 3D-LFM：提升基础模型

    本文介绍了一种基于 Transformer 的 3D Lifting Foundation Model (3D-LFM) 方法，通过利用变换器的置换等变性来处理 3D 数据中每个实例的不同点数，抵抗遮挡，并推广到未见过的类别，以实现 2D-3D 提取任务的卓越性能。

    Dec, 2023

  • 为自我中心视频估计更多的相机姿态对于 VQ3D 至关重要

    通过设计新的 pipeline 并重新优化现有的 VQ3D 框架，我们在 VQ3D 排行榜中取得了 25.8% 的最佳成绩，比基线 8.7% 提高了两倍。

    Nov, 2022

  • FM-OV3D：面向开放词汇的基于基础模型的跨模态知识融合的 3D 目标检测

    基于各种基础模型的跨模态知识融合方法可以提高 3D 模型的开放性词汇能力，并成功实现了在开放性 3D 目标检测任务中领先的性能。

    Dec, 2023

  • EgoVideo: 探索自我中心的基础模型和下游适应

    本研究报告介绍了我们在 CVPR 2024 年的 EgoVis 挑战中的解决方案，包括 Ego4D 挑战中的五个赛道和 EPIC-Kitchens 挑战中的三个赛道。我们基于视频语言双塔模型，并利用我们精心组织的自我中心视频数据，推出了一种新颖的基础模型 EgoVideo，该模型专门针对自我中心视频的独特特点进行设计，并为我们的竞赛提交提供了强大支持。通过将 EgoVideo 适应到这些多样化任务中，展示了它在不同自我中心视频分析场景中的多功能性和有效性，展示了 EgoVideo 作为自我中心基础模型的强大表示能力。

    Jun, 2024

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • EgoLifter: 开放式 3D 自我中心感知的分割

    EgoLifter 是一个能够将从自主传感器捕获的场景自动分割成个体三维物体的新型系统，采用 3D 高斯分布作为三维场景和物体的基础表示，并利用基于 Segment Anything 模型的分割掩模作为弱监督进行学习，以处理 egocentric 视频中的动态物体，并展示了在多个数据集上的优异性能。

    Mar, 2024

  • 自我中心视觉查询 2D 定位中负面帧至关重要

    该研究在 Ego4D dataset 基础上提出了针对 2D 视觉图像中的目标检测与跟踪问题的效率更高、效果更好的 baseline 解决方案，并在公共排行榜上表现出色。

    Aug, 2022