Nov, 2020

通过三维场景支撑从自我中心视频中捕获四维人体

PDF
TL;DR我们介绍了一种重建第二人称 3D 人体网格时间序列的新任务，并通过优化方法的应用解决了视角独特的自我中心视频人体捕捉的技术难题，从而比之前的单眼视频人体动作捕捉方法更准确地估计人体姿态和形状。
3d human body meshesegocentric videosoptimization-based approachhuman-scene interactionmonocular video
发现论文，激发创造
  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • You2Me: 通过第一和第二人称交互推断自我中心视频中的身体姿态

    本文提出了一种基于学习的方法，通过与另一个人的互动来估计身穿相机人的三维身体姿态，演示了我们的想法在多个领域的相关应用和视频实现。

    Apr, 2019

  • 通过自我头部姿态估计进行自我身体姿态估计

    该研究介绍了一种新方法，利用头部运动作为中间表示，将三维人体运动的预测分解为两个阶段，并使用条件扩散生成多个可能的全身动作，消除了需要训练配对数据集的需求，可以分别利用大规模的追踪数据集和运动捕捉数据集。

    Dec, 2022

  • 自我姿态：来自头戴式摄像头的 3D 自我姿态估计

    借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

    Nov, 2020

  • EgoBody: 穿戴设备中交互人体的形状与动作

    EgoBody 是一个新的大规模数据集，用于通过自我主观视角获取人类姿态、形状和运动的估计，数据集覆盖丰富的互动场景，估计社交伙伴的 3D 全身姿态和形状。

    Dec, 2021

  • EventEgo3D：从主观事件流中进行的 3D 人体动作捕捉

    使用单眼自我中心 3D 人体动作捕捉问题，该文介绍了基于事件相机和鱼眼镜头的 3D 人体动作捕捉方法，并开发了 EE3D 框架，具有高 3D 重建准确度和实时 3D 姿势更新速率。

    Apr, 2024

  • 野外单目全身捕捉：头、身体和手势的姿态捕捉

    本文提出了一种从单目视角输入捕获目标人物 3D 运动的方法，利用 3D 可变形网格模型重建运动，使用 3D 部分方向场对所有身体部位的 3D 方向进行编码，在训练集和性能评估方面表现良好，并在各种挑战性的野外视频上演示了总体运动捕捉的结果。

    Dec, 2018

  • 从主体视角视频中估算 3D 身体姿态：看到看不见的姿态

    通过利用环境的动态运动和静态构造特征，以及能够推断身体姿态序列的新型最小化能量模型，我们提出了一种高效的基于学习的方法来推断佩戴 egocentric 相机的人体姿态的 3D 关节位置，进一步改进了基于深度学习的图像直接姿态回归等可能的替代方案。

    Mar, 2016

  • 从人类视觉跨度估计自我中心姿态

    提出了一种基于深度学习的实时方法，利用相机 SLAM 和身体图像，同时计算出头部姿态、身体姿态和前景 / 背景分离，并引入一定的几何一致性限制，用于从佩戴设备的围绕视野中估计身体姿态。

    Apr, 2021

  • EgoHumans: 一种以自我为中心的三维多人基准测试

    提出了 EgoHumans 数据集，用于改进以往单人或仅局限于室内的 egocentric human 3D 姿势估计和跟踪算法，利用可穿戴相机配备的眼镜的多视角构建全面的 egocentric multi-human 数据集，并采用多流变压器体系结构和显式 3D 空间推理来估计和跟踪人体姿态。

    May, 2023