Oct, 2023

IPDreamer：基于图像提示的外观可控 3D 物体生成

PDF
TL;DR最新的文字到 3D 生成技术取得了显著进展，现有的方法利用大规模的文字到图像扩散模型，如 DreamFusion，来监督 3D 生成。然而，这些方法生成的 3D 对象的外观通常是随机和不可控的，这在实现可控外观的 3D 对象方面是一个挑战。为了解决这个问题，我们引入了 IPDreamer，一种新颖的方法，它结合了图像提示，为 3D 对象生成提供特定和全面的外观信息。我们的结果表明，IPDreamer 有效地生成了与所提供的文本和图像提示一致的高质量 3D 对象，展示了它在可控外观的 3D 对象生成方面的潜能。
text-to-3d generationdreamfusionvariational score distillationipdreamerappearance-controllable 3d object generation
发现论文，激发创造
  • ImageDream: 图像启发式多视角扩散用于 3D 生成

    使用 ImageDream 创新的图像提示多视角扩散模型进行 3D 物体生成，通过提高视觉几何准确性来产生比现有最先进的图像条件方法更高质量的 3D 模型。

    Dec, 2023

  • HyperDreamer: 由单张图像生成和编辑逼真的三维内容

    HyperDreamer 是一个可视化、可渲染和可编辑的 3D 内容创建工具，通过 360 度网格建模、高分辨率纹理和语义分割等技术，能够从单张图片中生成逼真的 3D 模型，并支持用户友好的编辑操作。

    Dec, 2023

  • MetaDreamer：高效文本生成三维模型的几何和纹理分离

    MetaDreammer 是一种基于 2D 和 3D 先验知识的两阶段优化方法，通过在优化过程中分别使用 2D 和 3D 先验知识，有效减轻几何与纹理之间的相互依赖，从而在 3D 生成过程中节省时间并生成高质量的 3D 对象。与现有技术相比，MetaDreammer 是一种高效的文本到 3D 生成方法，并且还引入了图像控制来增强对 3D 生成过程的可控性。

    Nov, 2023

  • 多视图图像引导的多视图扩散用于改善 3D 生成

    使用多个图像提示而非单一图像提示可以提高多视图和 3D 物体生成的性能，无需对预训练的 ImageDream 多视图扩散模型进行微调。

    Apr, 2024

  • DreamControl: 基于控制的文本到 3D 生成与 3D 自先

    通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

    Dec, 2023

  • TextureDreamer：基于几何感知扩散的图像引导纹理合成

    TextureDreamer 是一种新颖的图像引导纹理合成方法，能够将可在任何类别的目标 3D 形状上转移到少量输入图像（3 到 5 张）中的纹理。

    Jan, 2024

  • RealmDreamer: 基于文本驱动的带修补和深度扩散的 3D 场景生成

    介绍了一种名为 RealmDreamer 的技术，可以通过文本描述生成通用的正面视图 3D 场景，并且具备高质量和多样性。该技术利用先进的文本到图像生成器初始化 3D 平面，并通过多个视图进行 3D 修补和基于图像的扩散建模，从而生成富含几何结构的场景。最后，通过图像生成器的锐化样本对模型进行微调，而无需视频或多视角数据，同时还可以从单个图像合成 3D 场景。

    Apr, 2024

  • 清醒梦：可控的物体中心三维生成

    通过最新的生成模型，提出了一种名为 LucidDreaming 的有效管道，能够对 3D 生成进行精细控制，只需要最少的 3D 边界框输入，可以通过简单的文本提示使用大型语言模型推断，通过渲染和优化对象实现对象的分开生成，与基准方法相比，实现了更高水平的 3D 内容对齐，并提供了一个带有 3D 边界框的数据集，用于评估 3D 空间可控性。

    Nov, 2023

  • 亮梦想者：通用的 3D 高斯生成框架用于快速文本到 3D 合成

    BrightDreamer 是一种端到端的单阶段方法，可以实现通用且快速（77 毫秒）的文本到 3D 生成，通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。

    Mar, 2024

  • FlexiDreamer：使用 FlexiCubes 的单图像生成 3D

    通过灵活的基于梯度的提取方式（FlexiCubes）以及逐步优化的多分辨率哈希格网编码方案，FlexiDreamer 能够在约 1 分钟的时间内从单视图图像中恢复出密集的 3D 结构，并在单个 NVIDIA A100 GPU 上远远优于之前的方法。

    Apr, 2024