Mar, 2024

让其栩栩如生：对双足卡通人物进行从文本装饰

PDF
TL;DR基于输入指令，我们提出了第一次尝试在 UV 空间内，通过 Make-It-Vivid 从文本生成高质量纹理的方法，同时利用预训练的文本到图像模型生成具有模板结构的纹理映射，最终通过对抗学习缩小原始数据集和真实纹理领域之间的差距，实现了高效的角色纹理化和忠实的生成。
3d biped cartoon charactersautomatic texture designhigh-quality texture generationtext-to-image modeladversarial learning scheme
发现论文，激发创造
  • AvatarStudio：高保真和可动画三维头像从文本创建

    通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像，首先使用低分辨率的基于 NeRF 的表示进行初步生成，然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染，在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性，利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果，优于之前的方法，并且适用于多模态头像动画和风格引导头像创作等多个应用。

    Nov, 2023

  • 大规模文本 - 条件下 3D 人体运动生成动画

    本文提出了一种用于生成各种姿态和提示的基于文本的人体运动生成模型 Make-An-Animation，训练包括使用从大规模图像文本数据集中提取得到的（文本，静态伪姿势）对的精选大规模数据集以及微调运动捕捉数据，并使用 U-Net 架构，达到了 text-to-motion 生成中最先进的性能水平。

    May, 2023

  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • 野外文本生成三维内容调查

    文献调查了最新的文本生成三维内容的方法，并详细介绍了该领域的背景、数据集、评估指标以及不同的三维表示方法。通过对生成流程的分类和优劣势的分析，为进一步探索基于文本的三维内容创建提供了启示，并指出了未来研究的几个有希望的方向。

    May, 2024

  • FashionTex: 可控的基于文本和纹理的虚拟试穿

    通过将文本和纹理相结合，FashionTex 框架能够在无需配对数据的情况下，对服装类型和纹理模式进行语义控制，从而支持全身肖像的用户友好型时尚定制。

    May, 2023

  • Make-Your-3D：快速而一致的主题驱动三维内容生成

    我们引入了一种新颖的 3D 个性化方法，名为 Make-Your-3D，可以从单个主题图像和文本描述中提取个性化的高保真、一致的 3D 内容，在 5 分钟内完成。我们设计了一个共同进化的框架，通过身份感知优化和主题先验优化，使多视图扩散模型和身份特定的 2D 生成模型的分布与期望的 3D 主题的分布相一致。广泛的实验证明我们的方法可以产生高质量、一致性和主题特定的 3D 内容，并进行文本驱动的修改。

    Mar, 2024

  • TexDreamer：面向零样本高保真 3D 人体纹理生成

    利用 TexDreamer 模型，我们通过有效的纹理自适应微调策略将大型文本到图像模型转化成语义化 UV 结构，在保留其原始泛化能力的同时，能够在数秒内生成高保真度的 3D 人体纹理。此外，我们还介绍了包含 50k 高保真度的纹理及文本描述的 ATLAS 高分辨率 3D 人体纹理数据集。

    Mar, 2024

  • Make-A-Character: 高质量文本转 3D 人物生成

    使用大规模语言和视觉模型构建一个名为 Make-A-Character（Mach）的用户友好框架，通过文本描述创造栩栩如生的 3D 化身，满足用户期望，并能与现有的计算机图形技术（CG）流程轻松集成。

    Dec, 2023

  • 基于文本的可控人类图像生成

    本文提出一种名为 Text2Human 的控制性框架，用于基于文本的生成高质量和多样化的人类图像。在此框架下，我们建立了一个分层的纹理感知码书，以存储不同类型纹理的多尺度神经表征，并使用混合专家的扩散变换采样器采样码书中的索引。通过使用细粒度文本输入，生成的图像具有更高的质量和更多的多样性，拥有比现有方法更好的性能。

    May, 2022

  • GETAvatar: 生成可动人形角色的纹理网格

    GETAvatar 是一个用于生成可动画的高质量纹理和几何结构的人型化身的生成模型，通过使用显式表面建模的关节式 3D 人体表示和学习自 3D 扫描数据的 2D 法线图以实现细致的表面细节，并通过基于光栅化的渲染器实现高分辨率图像生成。

    Oct, 2023