Champ: 可控且一致的人物图像动画与三维参数引导

Mar, 2024

Champ: 可控且一致的人物图像动画与三维参数引导

Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance

Shenhao Zhu, Junming Leo Chen, Zuozhuo Dai, Yinghui Xu, Xun Cao...

TL;DR通过在潜在扩散框架中利用 3D 人体参数模型，介绍了一种人像动画的方法，以增强当前人体生成技术中的形状对齐和运动引导，通过捕捉源视频中的复杂人体几何和运动特征，利用深度图像、法线图和语义图来丰富潜在扩散模型的综合三维形状和详细姿势属性的条件，通过多层运动融合模块在空间域中融合形状和运动潜在表示，并通过以 3D 人体参数模型作为运动引导来执行参变形对齐，实验证明该方法能够生成准确捕捉姿势和形状变化的高质量人体动画，并且在所提出的数据集上具有优越的泛化能力。

Abstract

In this study, we introduce a methodology for human image animation by leveraging a 3d human parametric model within a latent diffusion framework

human image animation 3d human parametric model latent diffusion framework shape alignment motion guidance

发现论文，激发创造

3D 控制合成运动人物

利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

Jan, 2024

可变形的 3D 高斯喷洒技术用于可动式人型角色模型

通过引入参数驱动的动力学到三维高斯喷点，本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色，并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像，实验证明其在数据集上在定量和视觉上均优于现有的技术。

Dec, 2023

H4D: 通过学习神经元组合表达进行人体 4D 建模

本研究提出一个新型框架，名为 H4D，利用 SMPL 参数模型对动态人体进行建模，包括形状、初始姿势、运动和辅助信息，通过线性运动模型和 GRU-based 架构来提高准确性和表现力，有效地恢复了动态人物的运动和细节几何

Mar, 2022

DreamAvatar: 基于扩散模型的文本和形状指导下的 3D 人体化身生成

DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架，它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成，并引入了包含规范空间和观察空间的双重空间设计，它们之间由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估，证明 DreamAvatar 明显优于现有方法，为文本和形状引导的 3D 人体生成设立了新的技术水准。

Apr, 2023

可塑扩散：单图像化身创造的三维一致扩散

本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

Jan, 2024

基于时间的准确无标记人体形态和姿势估计

本文提出了一种基于 SMPLify 方法的全自动方法，可以从多视角视频中估计三维人体运动和身体形状，并利用 CNN 方法和 DCT 时间先验方法来提高精度，并且在标准基准测试中的结果与最先进的方法相当，同时还提供了一个逼真的 3D 形状 Avatar。

Jul, 2017

从单张图像中连贯重建多人

本研究针对单张图像中的多人 3D 姿态估计问题，采用自顶向下的方法，并利用 SMPL 参数化身体模型，提出了基于距离场碰撞损失和深度排序感知损失的网络训练框架，有效解决了结果不连贯的问题，并且在标准的 3D 姿态基准测试中表现出优异性能。

Jun, 2020

基于扩散概率模型的人 - 物交互的分层生成

提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

Oct, 2023

多视角图像中的多人姿态估计与形状感知

本文提出了一种基于多视图图像的多人姿态估计方法，在统计参数体模型的引导下，这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测，将 2D 和 3D 观测联系起来，从而更准确地估计 3D 姿态并且具有较好的泛化性能，实验表明该方法的效果优于现有的方法。

Oct, 2021

使用扩散模型进行受形状限制的人体动作生成

我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

May, 2024