Mar, 2024

Make-Your-3D：快速而一致的主题驱动三维内容生成

PDF
TL;DR我们引入了一种新颖的 3D 个性化方法，名为 Make-Your-3D，可以从单个主题图像和文本描述中提取个性化的高保真、一致的 3D 内容，在 5 分钟内完成。我们设计了一个共同进化的框架，通过身份感知优化和主题先验优化，使多视图扩散模型和身份特定的 2D 生成模型的分布与期望的 3D 主题的分布相一致。广泛的实验证明我们的方法可以产生高质量、一致性和主题特定的 3D 内容，并进行文本驱动的修改。
3d generation models3d customization methodmulti-view diffusion modelidentity-specific 2d generative modeltext-driven modifications
发现论文，激发创造
  • DreamBooth3D: 基于主题的文本到三维生成

    DreamBooth3D 是一种将个性化的文本 - 图像模型与文本 - 3D 生成相结合的方法，通过 3 阶段优化策略实现了神经光辐射场的 3D 一致性和文本 - 图像模型的个性化能力，能够生成高质量、个性化的 3D 模型。

    Mar, 2023

  • 基于主体特定知识先验的高质量单张图像三维建模

    本文提出了一种创新的两阶段方法，充分利用参考图像提供的信息，建立用于图像到 3D 生成的定制知识先验。我们提出了一种特定于主题和多模态的扩散模型，不仅通过考虑阴影模式来改善几何形状优化 NeRF，而且从粗糙结果中增强纹理以实现更好的细化。两方面都有助于使 3D 内容与主题保持一致。广泛的实验展示了我们方法 “Customize-It-3D” 的优越性，其性能显著优于以前的工作。它产生了具有令人印象深刻的视觉质量的忠实 360 度重建，非常适用于各种应用，包括文本到 3D 创建。

    Dec, 2023

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • Guide3D：根据文本和图像指导创建 3D 化身

    通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。

    Aug, 2023

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • GET3D: 从图像中学习高质量 3D 纹理形状的生成模型

    GET3D 是一种 3D 生成模型，能够直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理 3D 网格，从而显著改进了以往的方法。

    Sep, 2022

  • 野外文本生成三维内容调查

    文献调查了最新的文本生成三维内容的方法，并详细介绍了该领域的背景、数据集、评估指标以及不同的三维表示方法。通过对生成流程的分类和优劣势的分析，为进一步探索基于文本的三维内容创建提供了启示，并指出了未来研究的几个有希望的方向。

    May, 2024

  • Unique3D：基于单张图片的高质量高效 3D 网格生成

    我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。

    May, 2024

  • EfficientDreamer: 高保真和鲁棒的三维创作通过正交视图扩散先验

    通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像，从而利用正交视图图像引导生成高保真度的三维内容，并应用渐进式三维合成策略，显著提高了生成效率和质量，包括解决了 Janus 问题，并在定量和定性评估中证明了优越性。

    Aug, 2023

  • Control3D：面向可控的文本到 3D 生成

    大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

    Nov, 2023