Jun, 2023

基于姿态感知的身体部位灵活运动重定向注意力网络

PDF
TL;DR提出了一种基于身体部位的柔性运动重定向框架，其在运动编码阶段引入了姿势感知注意网络（PAN），并使用特征池化构建每个身体部位的共享潜在空间，通过在运动解码阶段应用该框架，可以在更具挑战性的重定向情景中获得合理的结果。
motion retargetingcomputer graphicscomputer visionpose-aware attention networkbody part
发现论文，激发创造
  • 深度动作共享的骨架感知网络

    本文提出了一种新颖的深度学习框架，用于不需要明确匹配训练集中运动对之间的数据驱动运动重定位，其利用不同同构骨架通过边合并操作可以简化为一个共同原始骨架并转化为一组关联于原始骨架关节的深度时态特征，从而实现简单的运动重定位，同时本方法是第一种能够在没有一对一匹配的情况下在不同采样运动链之间执行重定向的方法。

    May, 2020

  • 神经运动网络：无监督动作转移

    提出一种适用于无监督运动再目标化的递归神经网络架构，并使用前向运动学层和循环一致性的对抗性训练目标来捕捉输入运动的高级特征。

    Apr, 2018

  • 姿态至动作：带有姿态先验的跨域动作重定位

    通过姿势数据和神经运动合成方法，我们利用现有的运动捕捉数据集将合理的动作转移到只有姿势数据的角色上，实验证明该方法可以同时有效地结合源角色的运动特征和目标角色的姿势特征，并通过小型或嘈杂的姿势数据集生成逼真的动作，被参与者评为更加享受观看、外观更逼真且表现更加平滑。

    Oct, 2023

  • 基于语义图注意网络和距离信息的 3D 全身姿态估计

    我们开发了一种新颖的语义图注意力网络，它能够从自注意力捕获全局上下文的能力中受益，同时利用图卷积来处理骨架的局部连通性和结构约束。我们还设计了一个身体部分解码器，用于提取和改进与身体特定部分相关的信息。此外，我们的方法还包含距离信息，增强了模型理解和准确预测空间关系的能力。最后，我们引入了一种几何损失，对身体的结构骨架施加了关键约束，以确保模型的预测符合人体姿势的自然限制。实验证明了我们方法的有效性，表明系统中的每个元素对提高姿势估计结果至关重要。与最先进方法相比，我们的工作不仅达到了现有基准，而且超过了现有基准。

    Jun, 2024

  • 多人脸联合检测和面部运动转移

    使用一种新的多任务学习的框架来训练可以一次性处理多个面部目标的端到端网络，实现面部运动的再现和转移。

    Feb, 2019

  • 人体运动预测的多层动作注意力

    介绍了一种基于注意力机制的前馈神经网络，利用运动的重复性和历史上下文进行运动预测，通过图卷积网络对历史数据的运动模式进行有效利用，取得了三个数据集上最先进的结果。

    Jun, 2021

  • PARE：用于 3D 人体重建的部件关注回归器

    本文提出一种软注意机制 (PARE)，通过学习预测部位引导的注意掩蔽层来适应部分遮挡，以提高对 3D 人体姿态估计和形状估计的精度和鲁棒性。实验证明，PARE 比现有方法在遮挡和标准基准测试上具有更精确和更稳健的重建结果。

    Apr, 2021

  • Simple Pose: 重构和改进面向多人姿态估计的自底向上方法

    通过改进下联式方法，提出了一种改进的多人姿势估计方法，该方法使用更直观却更合理的表示方法，具有 attention 机制的改进型叠叠层沙漏网络，专门用于 hard keypoint 和 keypoint 关联挖掘的新型 Focal L2 Loss 和用于将检测到的关键点分组为单个姿势的强大贪婪关键点分配算法，平均精度比基准线高约 15％，与 MS-COCO 测试数据集上的最新技术相当。

    Nov, 2019

  • 基于接触感知的蒙皮动作转移

    本文提出了一种运动重新定位方法，能够保留自身联系并防止相互穿透，利用一种新颖的几何条件循环网络和编码器空间优化策略实现高效的重新定位，通过实验证明其结果优于以往方法。

    Sep, 2021

  • 通过姿势感知视频重组实现任意对象的跨身份运动转移

    本文提出了一种基于注意力机制的网络来进行任意物体之间的动作传递，从源图像和驱动视频中提取外观信息并实现不同主体间的动作传递，通过交叉主体训练模型能更多角度、更真实的传递动作，实验表明该方法在各个领域内表现更好。

    Jul, 2020