Jan, 2024

EgoGen: 一种自我为中心的合成数据生成器

PDF
TL;DREgoGen 是一种新型的合成数据生成器，可以为主观感知任务提供准确且丰富的真实数据。它采用一种创新的人体运动合成模型，通过利用虚拟人的主观视觉输入来感知三维环境，以解决在增强现实中模拟人类运动和行为的挑战。同时结合了避免碰撞的运动基元和两阶段强化学习方法，该模型可实现闭环解决方案，使虚拟人的感知和运动无缝耦合，并可直接适用于动态环境。EgoGen 通过易于使用和可扩展的数据生成流水线，展示了在头戴式摄像机的映射和定位、主观摄像机跟踪以及从主观视角恢复人体网格等三项任务中的有效性。作为一种开源工具，EgoGen 旨在为创建逼真的主观感知训练数据提供实用解决方案，并且可作为主观计算机视觉研究的有用工具。
augmented realityegocentric perception taskssynthetic data generatorhuman motion synthesis modelegocentric computer vision research
发现论文，激发创造
  • EgoHumans: 一种以自我为中心的三维多人基准测试

    提出了 EgoHumans 数据集，用于改进以往单人或仅局限于室内的 egocentric human 3D 姿势估计和跟踪算法，利用可穿戴相机配备的眼镜的多视角构建全面的 egocentric multi-human 数据集，并采用多流变压器体系结构和显式 3D 空间推理来估计和跟踪人体姿态。

    May, 2023

  • EgoRenderer：从自我中心摄像头图像渲染人类化身

    EgoRenderer 是一种能够从佩戴式鱼眼相机获取的全身神经头像中合成具有照片般逼真感的图像的系统，其通过将渲染过程分解成多个步骤来解决由于自上而下视角和大规模扭曲而带来的挑战，包括纹理合成、姿态构造和神经图像转换等。

    Nov, 2021

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • EgoBody: 穿戴设备中交互人体的形状与动作

    EgoBody 是一个新的大规模数据集，用于通过自我主观视角获取人类姿态、形状和运动的估计，数据集覆盖丰富的互动场景，估计社交伙伴的 3D 全身姿态和形状。

    Dec, 2021

  • 意图驱动的个体到外部视频生成

    提出了一种基于行动意图的自我转他视视频生成框架（IDE），通过利用包括人类运动和动作描述的行动意图作为视角无关表示指导视频生成，保留了内容和动作的一致性。

    Mar, 2024

  • xR-EgoPose: HMD 相机下的身份 3D 人体姿态

    本文提出一种新的解决方案，能够从从头戴虚拟现实设备上一部安装了鱼眼镜头的单目图像中，以自我中心的视角估算 3D 人体姿态。该方法使用了一种新的编码器 - 解码器结构，以及一个由两个分支组成的解码器，并通过构建一个大规模的合成数据集进行了实验，取得了显著的性能提升，并在 Human3.6M 基准数据集上取得了与现有最佳方法相当的效果。

    Jul, 2019

  • 从第三人称到第一人称：综合与检索的数据集与基线模型

    本研究介绍了包含同时录制自我中心和外部中心视频的两个数据集（合成和自然 / 真实），首先使用条件生成对抗网络从外部中心领域合成自我中心领域的图像。 其次，我们解决了跨视图检索问题，并通过从合成域到自然 / 真实域的域适应来提高性能。

    Dec, 2018

  • 通过自我头部姿态估计进行自我身体姿态估计

    该研究介绍了一种新方法，利用头部运动作为中间表示，将三维人体运动的预测分解为两个阶段，并使用条件扩散生成多个可能的全身动作，消除了需要训练配对数据集的需求，可以分别利用大规模的追踪数据集和运动捕捉数据集。

    Dec, 2022

  • 自我姿态：来自头戴式摄像头的 3D 自我姿态估计

    借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

    Nov, 2020

  • 头戴式增强现实设备的自我中心手势识别

    本文提出一种基于端到端深度学习方法，采用用于识别土生土长的姿势的时间分辨率特征的循环神经网络和用于找到土手特征的自我手编码器网络，结合绿色屏幕捕获的数据扩充技术来缓解地面真实性注释问题，从而实现了土心姿势识别的问题。

    Aug, 2018