本研究提出了一种利用强化学习、物理模拟器和稀疏传感器数据实时将人类运动重定向到具有不同骨架结构的角色的方法,并仅需要运用运动捕捉数据进行培训,同时探讨了该框架中的重要组件。
Jul, 2023
SparsePoser 是一种深度学习为基础的解决方案,用于从一组减少的六个跟踪设备中重建全身姿势。该方法在公开可用的动作捕捉数据集上进行了广泛评估,并通过实时演示显示了优于使用 IMU 传感器或 6 自由度跟踪设备的最先进技术,可适用于具有不同身体尺寸和比例的用户。
Nov, 2023
SimXR 是一种从 AR/VR 头显获取的信息(头显姿态和摄像头)控制模拟化身的方法,通过分析输入图像决定人体运动并与头显姿态协同作用,从而实现手部和脚部的精细动作,同时利用物理定律生成合理的运动。
Mar, 2024
通过预测用户整体运动的潜在表征并将其与跟踪传感器输入集成,提出了一种利用神经运动先验信息以提高用户运动重建准确性的方法,该方法通过有限的输入信号重建用户的全身姿势,尤其增强了从贫乏信号中重建下半身运动的强健性。
Aug, 2023
AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法,具有较高的准确性和实时操作速度,并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。
Jul, 2022
提出了一个两阶段的框架,仅利用头部和手部的追踪信号可以获取准确而平滑的全身动作,通过学习大规模动作数据解决实时身体追踪的问题,并通过关节级特征建模和损失函数设计提高精确度和平滑度。在 AMASS 运动数据集和真实捕获数据上的广泛实验验证了设计的有效性,并表明相比现有方法,我们的提出的方法可以实现更准确和平滑的运动。
本研究提出了基于物理原理的方法,同时优化场景布局生成器和物理模拟器中的人体移动,以实现可信和真实的交互动作,通过最小化运动追踪误差以自动恢复和生成场景布局,并使用强化学习进行双重优化,通过重新塑造追踪奖励和估计的伪接触标签获得的姿势先验指导来促进优化,使用 SAMP 和 PROX 的动作进行评估,并与基于运动学的先前方法进行比较,展示了物理上可信的场景布局重建。
May, 2024
提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互,包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面,实验结果表明,该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。
May, 2023
利用 6 个惯性传感器,通过神经运动学估计器和物理感知运动优化器,实现身体运动的跟踪和重建,并在运动捕获精度、时间稳定性和物理正确性方面实现了极大的提高。
Mar, 2022
本研究使用穿戴式 IMU 传感器,基于人的运动轨迹在真实环境中构建概率三维模型,通过 P2R-Net 模型扩展多模态的物体配置,不需要视觉信息即可准确地评估人物结构和场景中的物品结构,并在 PROX 数据集和 VirtualHome 平台上表现优异。
Dec, 2021