Apr, 2024

骨架先验的双人交互增强

PDF
TL;DR我们提出了一种新的深度学习方法，用于两个骨骼之间的运动增强，能够在保留两个身体之间的关键几何 / 拓扑关系的同时，生成不同身体大小和比例的接触丰富的互动的变化。我们的系统能够从相对少量的数据中有效学习，并且能够推广到截然不同的骨架尺寸。通过详尽的评估和比较，我们展示它可以生成高质量的运动，具有较强的通用性，并且优于传统的基于优化的方法和其他深度学习解决方案。
skeletal motionmotion capturemotion editingdeep learningcontact-rich interactions
发现论文，激发创造
  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • 基于接触感知的蒙皮动作转移

    本文提出了一种运动重新定位方法，能够保留自身联系并防止相互穿透，利用一种新颖的几何条件循环网络和编码器空间优化策略实现高效的重新定位，通过实验证明其结果优于以往方法。

    Sep, 2021

  • 多人极端动作预测

    本文旨在预测两个互动人物的运动，通过收集一组专业舞蹈者的数据，提出了一种新的跨交互关注机制，在短期和长期预测中都表现出优于单人运动预测的现有方法。

    May, 2021

  • Skeleton2Humanoid: 用于物理合理运动的虚拟人物动画插值

    本研究介绍了一种名为 Skeleton2Humanoid 的系统，该系统通过物理学模拟器中的正则化合成骨架运动来执行基于物理的运动校正，在测试时间内提高合成人体骨架运动的物理可行性，并且在 LaFAN1 数据集上的实验证明，该系统在物理可行性和准确性方面显著优于先前的方法。

    Oct, 2022

  • 基于物理的稀疏输入运动重定向

    本研究提出了一种利用强化学习、物理模拟器和稀疏传感器数据实时将人类运动重定向到具有不同骨架结构的角色的方法，并仅需要运用运动捕捉数据进行培训，同时探讨了该框架中的重要组件。

    Jul, 2023

  • 基于骨架的人类交互识别的双人图卷积网络

    本文介绍了一种新型的二人图来表示关节之间的人与人交互和身体内部的相关性，并提出了两个人图卷积网络（2P-GCN）来识别人与人交互和个体动作。实验结果表明，该模型在 SBU、NTU-RGB+D 和 NTU-RGB+D 120 三个数据集的四项基准测试中取得了最先进的结果。

    Aug, 2022

  • 基于骨架的关节运动生成

    该研究通过利用单个图像，结合人体骨骼信息、姿态运动、外观参照和 triplet loss，构建一个条件 GAN 框架，能够生成更真实的动态人体运动序列。研究数据集包括 KTH 和 Human3.6M。

    Jul, 2017

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 基于文本描述的有接触感知的人体动作生成

    从文本中生成三维交互式人体动作的研究，通过引入人体与物体接触的联系，提出了一种新的方法 CATMO，整合了运动和接触序列，通过学习文本嵌入来生成稳定的动作序列。

    Mar, 2024

  • 使用骨架一致性从单目视频中重建 3D 人体运动

    MotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络，通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列，并在 3D 位置上应用正向运动学，使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。

    Jun, 2020