Apr, 2019

You2Me: 通过第一和第二人称交互推断自我中心视频中的身体姿态

PDF
TL;DR本文提出了一种基于学习的方法，通过与另一个人的互动来估计身穿相机人的三维身体姿态，演示了我们的想法在多个领域的相关应用和视频实现。
3d body pose estimationwearable cameralearning-based approachdyadic interactiontemporal model
发现论文，激发创造
  • 从主体视角视频中估算 3D 身体姿态：看到看不见的姿态

    通过利用环境的动态运动和静态构造特征，以及能够推断身体姿态序列的新型最小化能量模型，我们提出了一种高效的基于学习的方法来推断佩戴 egocentric 相机的人体姿态的 3D 关节位置，进一步改进了基于深度学习的图像直接姿态回归等可能的替代方案。

    Mar, 2016

  • 通过三维场景支撑从自我中心视频中捕获四维人体

    我们介绍了一种重建第二人称 3D 人体网格时间序列的新任务，并通过优化方法的应用解决了视角独特的自我中心视频人体捕捉的技术难题，从而比之前的单眼视频人体动作捕捉方法更准确地估计人体姿态和形状。

    Nov, 2020

  • EgoBody: 穿戴设备中交互人体的形状与动作

    EgoBody 是一个新的大规模数据集，用于通过自我主观视角获取人类姿态、形状和运动的估计，数据集覆盖丰富的互动场景，估计社交伙伴的 3D 全身姿态和形状。

    Dec, 2021

  • 通过自我头部姿态估计进行自我身体姿态估计

    该研究介绍了一种新方法，利用头部运动作为中间表示，将三维人体运动的预测分解为两个阶段，并使用条件扩散生成多个可能的全身动作，消除了需要训练配对数据集的需求，可以分别利用大规模的追踪数据集和运动捕捉数据集。

    Dec, 2022

  • 自我姿态：来自头戴式摄像头的 3D 自我姿态估计

    借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

    Nov, 2020

  • 从人类视觉跨度估计自我中心姿态

    提出了一种基于深度学习的实时方法，利用相机 SLAM 和身体图像，同时计算出头部姿态、身体姿态和前景 / 背景分离，并引入一定的几何一致性限制，用于从佩戴设备的围绕视野中估计身体姿态。

    Apr, 2021

  • 在第三人称视频中识别第一人称摄像头佩戴者

    本文提出了一种新的半孪生卷积神经网络架构，以解决第一人称和第三人称视频之间的人物层面的对应关系问题，在关注联合场景理解，物体追踪和活动识别方面有显着的性能提升。

    Apr, 2017

  • SimpleEgo: 从自主摄像头预测概率性身体姿势

    本研究针对佩戴在头部的下视镜头设备上的自我中心人体姿势估计问题进行了探讨。通过使用传统矩形镜头捕捉图像并采用基于矩阵 Fisher 分布的概率性关节旋转回归方法，该方法解决了硬件设计问题并能够量化姿势的不确定性，同时在此具有挑战性的配置中，获得了最先进的结果。

    Jan, 2024

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • 3D 视角下人体姿态估计的调研

    本综述论文旨在提供关于自中心姿势估计研究的全面概述，包括流行数据集、不同姿势估计模型的分类和讨论，通过对比分析突出不同方法的优缺点。此综述能为研究人员和实践者提供宝贵资源，洞察自中心姿势估计的关键概念、前沿解决方案，以及未来研究领域的待解问题。

    Mar, 2024