关键点辅助的弱监督三维姿势迁移

ICCVJul, 2023

关键点辅助的弱监督三维姿势迁移

Weakly-supervised 3D Pose Transfer with Keypoints

Jinnan Chen, Chen Li, Gim Hee Lee

TL;DR三维姿势转换的主要挑战是：1）没有不同角色执行相同姿势的配对训练数据；2）从目标网格中分离姿势和形状信息；3）难以应用于具有不同拓扑结构的网格。因此，我们提出了一种新颖的弱监督基于关键点的框架以克服这些困难。具体而言，我们使用一种与拓扑无关的关键点检测器和逆向运动学来计算源网格与目标网格之间的变换。我们的方法只需要对关键点进行监督，可以应用于具有不同拓扑结构的网格，并且对于目标来说是形状不变的，可以从目标网格中提取仅限于姿势的信息而不传递形状信息。我们进一步设计了一个循环重建来执行自监督姿势转换，而不需要具有与目标和源相同姿势和形状的地面实况变形网格。我们在基准人类和动物数据集上评估了我们的方法，在那里与最先进的无监督方法相比达到了卓越的性能，甚至与完全监督的方法相比具有可比性的性能。我们在更具挑战性的 Mixamo 数据集上进行测试，以验证我们的方法处理具有不同拓扑结构和复杂服装能力。跨数据集评估进一步展示了我们方法的强大泛化能力。

Abstract

The main challenges of 3d pose transfer are: 1) Lack of paired training data with different characters performing the same pose; 2) Disentangling pose and shape information from the target mesh; 3) Difficulty in applying to meshes with different topologies. We thus propose a novel

3d pose transfer weakly-supervised keypoint-based framework topology-agnostic keypoint detector cycle reconstruction

发现论文，激发创造

MAPConNet: 自监督的网格与点对比学习三维姿势转移

本研究提出了一种新的自我监督框架，用于三维姿势传输，并利用潜空间中的对比学习约束，实现无监督，半监督和全监督设置下的对比度学习。实验结果表明，我们的方法在受监督的 3D 姿势转移方面取得了最先进的结果，在无监督和半监督设置中取得了可比较的结果。

Apr, 2023

无监督三维人体姿态估计的运动学结构保留表示

本文提出了一种采用运动学结构保持无监督学习的 3D 人体姿势估计框架，可以避免使用任何弱监督模型，并通过能量损失和运动学先验知识来训练模型，提高对新环境下的准确性和泛化能力。

Jun, 2020

无需骨架转移姿势到风格化 3D 角色

本文提出了一种自动将姿势转移至无骨骼的、具有多样形状、拓扑和网格连接性的风格化 3D 角色的方法，并通过新颖的统一关节模型，使用一个姿势转移网络来预测角色的皮肤绑定权重和变形变换，以匹配所需的姿势。该方法采用半监督训练方式，且具有良好的泛化能力，可广泛应用于风格化角色和非生动物体的动画制作。

Jul, 2022

基于对应学习和网格细化的三维姿态转移

该论文提出了一种对人类和动物网格控制姿势的方法，该方法通过优化传输问题建立源网格和目标网格之间的对应关系，并使用弹性实例归一化的条件归一化层来提高生成网格的质量。

Sep, 2021

弱监督生成式网络用于多个 3D 人体姿势假设

本文提出了一种使用弱监督深度生成网络解决逆问题的方法，该网络设计了一个提议分布来逼近未知的多模态目标后验分布，并通过 KL 散度最小化实现近似，并使用平均漂移算法确定最可行的解决方案。实验结果显示，该方法能够生成多个可行的假设，获得了与现有弱监督方法相比的最新结果。

Aug, 2020

走向野外三维人体姿态估计：一种弱监督方法

本文提出了一种混合 2D 和 3D 标签的深度神经网络，通过弱监督迁移学习的方法，将控制实验室环境下的 3D 姿态标签转移到野外图像，使用共享表示直接训练完成增强的 2D 姿态估计子网络和 3D 深度回归子网络，并引入 3D 几何约束来规范 3D 姿态预测，以在无底深度标签的情况下提高准确度。该方法在 2D 和 3D 基准测试中均取得了优异的结果。

Apr, 2017

无监督学习视频中的可解释关键点

本文提出了 KeypointGAN 方法，通过从未标注的视频和基于弱领域先验知识的学习，仅使用单个图像就可以识别物体的姿态，利用一个新的物体的双重表示方法，并且这种方法可以在不使用标注图像的情况下获得最新的成果。

Jul, 2019

基于几何自监督的无监督三维姿态估计

通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

Apr, 2019

三维人体姿态估计几何感知表示的弱监督发现

本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

Mar, 2019

关键点预测下的目标姿态自监督学习

本文提出了一种基于自监督学习的关键点预测方法来进行相机位姿预测及三维目标物体的在线重建的深度学习网络，并在几个数据集上进行了实验，取得了显著的改进。

Feb, 2023