无需骨架转移姿势到风格化 3D 角色

ECCVJul, 2022

无需骨架转移姿势到风格化 3D 角色

Skeleton-free Pose Transfer for Stylized 3D Characters

Zhouyingcheng Liao, Jimei Yang, Jun Saito, Gerard Pons-Moll, Yang Zhou

TL;DR本文提出了一种自动将姿势转移至无骨骼的、具有多样形状、拓扑和网格连接性的风格化 3D 角色的方法，并通过新颖的统一关节模型，使用一个姿势转移网络来预测角色的皮肤绑定权重和变形变换，以匹配所需的姿势。该方法采用半监督训练方式，且具有良好的泛化能力，可广泛应用于风格化角色和非生动物体的动画制作。

Abstract

We present the first method that automatically transfers poses between stylized 3D characters without skeletal rigging. In contrast to previous attempts to learn pose transformations on fixed or topology-equivalent skeleton templates, our method focuses on a novel scenario to handle skeleton-free characters with diverse shapes, topologies, and mesh connectiv

pose transfer stylized characters character animation deformation transformations articulation model

发现论文，激发创造

零样板风格化三维角色非绑定姿势转移

本文提出了一种使用非样式化虚拟人形变形训练，再通过本文中引入的半监督形状理解和隐式姿态变形模块，实现对来自其他类型非样式化形体的样式化角色的姿态转移，实现无需标注对应点的零样本学习。同时，引入了一种基于体素的测试训练过程，加强了对四足动物类别等注释罕见类别样式化人形的逼真变形。

May, 2023

关键点辅助的弱监督三维姿势迁移

三维姿势转换的主要挑战是：1）没有不同角色执行相同姿势的配对训练数据；2）从目标网格中分离姿势和形状信息；3）难以应用于具有不同拓扑结构的网格。因此，我们提出了一种新颖的弱监督基于关键点的框架以克服这些困难。具体而言，我们使用一种与拓扑无关的关键点检测器和逆向运动学来计算源网格与目标网格之间的变换。我们的方法只需要对关键点进行监督，可以应用于具有不同拓扑结构的网格，并且对于目标来说是形状不变的，可以从目标网格中提取仅限于姿势的信息而不传递形状信息。我们进一步设计了一个循环重建来执行自监督姿势转换，而不需要具有与目标和源相同姿势和形状的地面实况变形网格。我们在基准人类和动物数据集上评估了我们的方法，在那里与最先进的无监督方法相比达到了卓越的性能，甚至与完全监督的方法相比具有可比性的性能。我们在更具挑战性的 Mixamo 数据集上进行测试，以验证我们的方法处理具有不同拓扑结构和复杂服装能力。跨数据集评估进一步展示了我们方法的强大泛化能力。

Jul, 2023

从野外单张图像中的姿势引导的人类动画

本文提出了一种新的姿态转换方法，通过使用组合神经网络，预测人的轮廓，服装标签和纹理，并在推理时利用训练有素的网络生成一个外观及其标签的统一表示，以对姿势变化做出响应，并使用背景完成外观的呈现，从而实现保留人物身份和外观，具有时间上的一致性和泛化能力。

Dec, 2020

神经姿势表示学习用于生成和转移非刚性物体姿势

我们提出了一种新的学习三维可变形物体姿态表示的方法，该方法能够在物体的不同标识和姿态之间进行解耦，并通过单一对象的变化实现多样化的姿态。通过设计姿态提取器和姿态应用器来实现姿态解耦、生成模型的紧凑性和可转移性，并利用隐式姿态应用器来提取姿态信息和实现目标对象的形状变化。通过实验验证了姿态转移和生成多样性变形形状的最新性能。

Jun, 2024

基于对应学习和网格细化的三维姿态转移

该论文提出了一种对人类和动物网格控制姿势的方法，该方法通过优化传输问题建立源网格和目标网格之间的对应关系，并使用弹性实例归一化的条件归一化层来提高生成网格的质量。

Sep, 2021

神经混合形态学习骨架关节

本文通过开发一种基于神经技术的方法，在不假定训练数据的基础形变模型的情况下，使神经网络学习到骨架、皮肤和混合形状，并构建了一个骨骼层次结构的网络架构，利用预定义的骨骼结构使 3D 角色实现高质量的姿态相关形变，其中提出了用于改进关节区域变形质量的纠正姿势依赖形状的方法。

May, 2021

通过自适应分层变形实现人体姿势转换

本文提出了一个基于两级分层变形的自适应人体姿态转移网络，使用门控卷积动态选择图像的重要特征并逐层自适应变形，通过更少的参数快速收敛并在服装纹理转移等任务中获得更好的性能。

Dec, 2020

适用于实验室动物姿态估计的变形感知非配对图像转换

通过新的 sim2real 域转移方法，我们在未配对的图像转换框架中对外观、形状和姿势进行了显式和独立的建模，并在无需手动注释目标域的情况下，在 Drosophila melanogaster（果蝇）、Caenorhabditis elegans（蛔虫）和 Danio rerio（斑马鱼）上实现了改进的姿势估计准确性，从而捕捉神经回路编排行为的姿势。

Jan, 2020

DeePSD: 三维服装动画的自动深度蒙皮和姿态空间变形

本研究通过深度学习提出了一种解决服装动画问题的新方法，可以对任何拓扑和几何复杂度的模板服装进行动画处理，并提出了一种补充有监督学习的无监督物理学习方法，以隐式解决碰撞和增强布料质量。

Sep, 2020

双侧特征融合 3D 姿态传递

提出了一种双侧特征融合姿势转移网络，通过将姿势特征作为解码网络的一个侧面输入，并在多个尺度上逐层将其融合到目标网格中，从而提高了轻量级方法的姿势转移准确性。

May, 2023