Aug, 2023

Guide3D：根据文本和图像指导创建 3D 化身

PDF
TL;DR通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。
text-to-3d generationgenerative modeldiffusion modelsavatar generationhigh-resolution textured meshes
发现论文，激发创造
  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • DiffusionGAN3D: 结合 3D GANs 和 Diffusion 先验的文本引导的 3D 生成和领域适应

    我们提出了一个新的框架 DiffusionGAN3D，通过结合 3D GANs 和扩散先验来增强文本引导的 3D 领域适应和生成，该方法在领域适应和文本到头像任务中取得了优异的生成质量和效率结果。

    Dec, 2023

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • ET3D：通过多视角蒸馏实现高效的文本到三维生成

    通过使用大型预训练的文本到图像扩散模型生成的图像作为监督信号，我们提出了一种高效的文本到 3D 生成方法，在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产，并且不需要 3D 训练数据，通过提炼预训练图像扩散模型为高效文本到 3D 生成提供了一种替代方法。

    Nov, 2023

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • VP3D：释放 2D 视觉提示以实现文本到 3D 生成

    通过可视化引导的扩散模型，从 2D 可视化提示中显式释放视觉外观知识以增强 3D 模型的生成。

    Mar, 2024

  • HeadSculpt: 使用文本创造 3D 头像

    本研究提出了名为 HeadSculpt 的通用粗到细流程，用于从文本提示中生成和编辑三维头像，实现了更高的保真度和编辑能力。

    Jun, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 基于文本指导的三维人脸合成 -- 从生成到编辑

    通过文本引导的三维人脸合成，从生成到编辑的统一框架，通过解耦生成几何和纹理来提高几何细节的生成效果，并利用生成几何作为纹理生成的条件，进一步提升几何与纹理的一致性结果；通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑，并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改，并提出自导向一致性权重策略以提高编辑效果与保持一致性；通过全面实验展示了该方法在人脸合成方面的优越性。

    Dec, 2023