Feb, 2024

CharacterGen: 从单幅图像高效生成三维角色并进行多视图姿势规范化

PDF
TL;DR在数字内容创作领域中，从单张图像生成高质量的 3D 角色是具有挑战性的，本文介绍了 CharacterGen 框架，该框架通过图像条件的多视角扩散模型和基于转换器的稀疏视角重建模型高效地生成 3D 角色。通过定量和定性实验证明该方法能够生成具有高质量形状和纹理的 3D 角色，可用于后续的蒙皮和动画应用。
发现论文，激发创造
  • 3DGEN：一种基于 GAN 的从图像数据生成新的 3D 模型的方法

    我们提出了 3DGEN 模型，它利用最近在物体重建和基于 GAN 的图像生成方面的工作，可以为训练图像的同一类别对象生成可信的三维网格，并将生成的网格与当前最先进的基准模型进行比较，取得了可见的生成质量改进。

    Dec, 2023

  • AvatarGen：可动漫人类角色的三维生成模型

    本文提出 AvatarGen 方法，是第一种通过仅使用 2D 图像训练，能够生成高保真度外观和可控几何形状的、解耦式的可控人体动画的方法。

    Nov, 2022

  • 在规范视图中生成和编辑自己的角色

    本文提出了一种新的和统一的框架，使用潜在映射器在 StyleGAN 的潜在空间中分析和发现前端映射，从而一次性生成具有典型视角的风格化肖像。

    May, 2022

  • 从单视角肖像数据集学习全头部三维生成对抗网络

    我们提供了第一个 3D 感知的全头像肖像生成器，它从包含多种摄像参数和身体姿势的高质量单视角真实肖像数据集学习一个规范化的 3D 化身分布，并利用我们的规范化生成器产生符合数据集身体姿态分布的变形结果来生成自各个摄像角度（360°）具有完整 3D 几何的视一致逼真肖像图像。

    Jul, 2023

  • 可控肖像图像动画的 3D GAN 反向推导

    本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

    Mar, 2022

  • My3DGen: 构建轻量化个性化 3D 生成模型

    My3DGen 是一个实用系统，使用不超过 10 张图像创建个性化和轻量级的 3D 生成先验系统。该系统利用预训练模型的固定权重作为通用先验，通过低秩分解在每个卷积和完全连接层的权重上进行单独的个性化先验训练，并通过基于人脸对称的规则化技术调整网络，指导其学习参数并减少过拟合。该系统仅增加了与完全微调的原始模型相比，每个身份约 0.6 百万个附加参数，同时保持生成的 3D 人脸的质量。

    Jul, 2023

  • ZeroAvatar: 从单张图像生成零样本 3D 头像

    本研究提出了一种名为 ZeroAvatar 的方法，它使用人体先验约束来保持更复杂的图形（如人体）的几何形状以及完成不可见部位的纹理修复，并且在优化的图像到 3D 人体生成中表现出色，优于存在的一些零样本图像到 3D 方法。

    May, 2023

  • Follow-Your-Pose v2: 稳定姿态控制的多条件引导角色图像动画

    提出了一个实用而稳健的框架 Follow-Your-Pose v2，它可以在互联网上易于获取的噪声数据集进行训练，并通过设计多条件引导器解决背景稳定性、多角色生成中的身体遮挡以及角色外貌的一致性等问题。通过对接近 4000 帧的新基准进行广泛实验，表明我们的方法在两个数据集和 7 个度量标准上比最先进的方法提高了 35% 以上。同时，定性评估表明我们的方法在生成复杂背景和多角色身体遮挡的场景中显著改善了生成视频的质量，表明了我们方法的优越性。

    Jun, 2024

  • CharNeRF：从概念艺术创造 3D 角色

    提出一种新的方法来从一致的 3D 周转概念艺术中创建三维角色的体积表示，通过编码概念艺术为先验模型来优化 3D 建模管道，并演示了结合射线采样和表面采样增强网络的推理能力，生成高质量的 360 度角色视图，提供了简单指导以更好地利用模型提取 3D 网格。

    Feb, 2024

  • 直接未必是最好的：一种增量演化观点下的姿势生成

    通过细粒度的逐步演化中心姿势生成框架，我们能够有效地解决姿势变换相关研究中存在的非线性变化、内容失真和模糊等挑战，并能精确地保持各种不同姿势的细节，并通过全局和逐步演化约束以及三径知识融合结构指导姿势合成过程，生成可行的中间姿势。

    Apr, 2024