Jul, 2023

基于物理的稀疏输入运动重定向

PDF
TL;DR本研究提出了一种利用强化学习、物理模拟器和稀疏传感器数据实时将人类运动重定向到具有不同骨架结构的角色的方法，并仅需要运用运动捕捉数据进行培训，同时探讨了该框架中的重要组件。
avatarsmotion retargetingreinforcement learningsparse sensor dataphysics simulator
发现论文，激发创造
  • SparsePoser: 实时全身运动重建从稀疏数据

    SparsePoser 是一种深度学习为基础的解决方案，用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估，并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术，可适用于具有不同身体尺寸和比例的用户。

    Nov, 2023

  • AvatarPoser: 从稀疏动作感知中获取关节化全身姿势跟踪

    AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法，具有较高的准确性和实时操作速度，并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。

    Jul, 2022

  • QuestEnvSim：基于环境感知的稀疏传感器模拟运动跟踪

    使用强化学习相结合的物理模拟和环境观察，可以在高度约束的环境中生成逼真的全身姿势，从而避免接触的干扰。

    Jun, 2023

  • 骨骼匿名化的对抗引导运动重定向

    基于运动重定向的隐私保护深度动作重定向模型（PMR）通过对抗学习，帮助实现与最先进模型相当的运动重定向效果，并降低隐私攻击的成功率。

    May, 2024

  • Skeleton2Humanoid: 用于物理合理运动的虚拟人物动画插值

    本研究介绍了一种名为 Skeleton2Humanoid 的系统，该系统通过物理学模拟器中的正则化合成骨架运动来执行基于物理的运动校正，在测试时间内提高合成人体骨架运动的物理可行性，并且在 LaFAN1 数据集上的实验证明，该系统在物理可行性和准确性方面显著优于先前的方法。

    Oct, 2022

  • 基于关节级建模的稀疏观测的逼真全身跟踪

    提出了一个两阶段的框架，仅利用头部和手部的追踪信号可以获取准确而平滑的全身动作，通过学习大规模动作数据解决实时身体追踪的问题，并通过关节级特征建模和损失函数设计提高精确度和平滑度。在 AMASS 运动数据集和真实捕获数据上的广泛实验验证了设计的有效性，并表明相比现有方法，我们的提出的方法可以实现更准确和平滑的运动。

    Aug, 2023

  • 虚拟现实中的自身形象动画：动作信号伪像对全身姿态重建的影响

    该研究探讨了虚拟现实应用中自身角色的动作信息与重建误差之间的关系，并发现方法对降解的敏感度尤其体现在动作重建速度误差。

    Apr, 2024

  • 稀疏观测下的分层化角色生成

    从 AR / VR 设备中估计 3D 全身化身对于创建 AR / VR 应用程序中的沉浸式体验至关重要。本文提出了一种分层方法，将传统的全身化身重建流程解耦为两个阶段，首先重建上半身，然后在先前阶段的基础上重建下半身。通过潜在扩散模型作为强大的概率生成器，并训练其遵循由 VQ-VAE 编码器 - 解码器模型探索的解耦动作的潜在分布，我们在 AMASS mocap 数据集上进行的广泛实验证明了我们在全身动作重建方面的最先进性能。

    May, 2024

  • 神经运动网络：无监督动作转移

    提出一种适用于无监督运动再目标化的递归神经网络架构，并使用前向运动学层和循环一致性的对抗性训练目标来捕捉输入运动的高级特征。

    Apr, 2018

  • 2D 动作重定向中的跨字符动作学习

    本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。

    May, 2019