Mar, 2024

3D-SceneDreamer: 文本驱动的 3D 一致场景生成

PDF
TL;DR利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。
text-driven 3d scene generationgenerative modelsglobal 3d informationtri-plane features-based nerfgenerative refinement network
发现论文，激发创造
  • Text2NeRF: 使用神经辐射场进行文本驱动的 3D 场景生成

    Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致，同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度，多视角一致性和多样性的真实感 3D 场景。

    May, 2023

  • 无需重新训练的基于文本的 3D 场景编辑

    我们引入了一种名为 DN2N 的文本驱动编辑方法，使用现成的基于文本的图像编辑模型修改 3D 场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化 NeRF 模型，实现了友好、直观和实用的用户编辑体验，并实现了多种编辑类型的效果。

    Sep, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • MaGRITTe: 图像、鸟瞰与文本的操控和生成 3D 实现

    使用部分图像、顶视图的布局信息和文本提示来控制和生成多模态条件下的 3D 场景，通过预训练的文本到图像模型微调，以及布局条件的深度估计和神经辐射场（NeRF），实现从给定条件生成 2D 图像和从 2D 图像生成 3D 场景，避免创建庞大的数据集，得到了定性和定量的实验结果，证明了该方法能够根据多模态条件生成多领域的 3D 场景。

    Mar, 2024

  • RoomDreamer: 基于文本驱动的连贯几何纹理室内场景 3D 合成

    本文提出了基于自然语言的房间风格合成算法 RoomDreamer，通过 Geometry Guided Diffusion 和 Mesh Optimization 处理实现 3D 室内场景生成，大幅提升了几何和纹理的一致性和图像质量。

    May, 2023

  • DreamControl: 基于控制的文本到 3D 生成与 3D 自先

    通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

    Dec, 2023

  • Sketch2NeRF: 多视图草图引导的文本生成三维模型

    通过多视角草图引导的文本到 3D 生成框架，使用预训练的 2D 扩散模型对神经辐射场进行优化，以实现从草图到生成 3D 场景的灵活控制。

    Jan, 2024

  • DreamScene: 通过形成模式采样生成基于 3D 高斯的文本到 3D 场景

    提出 DreamScene，一个基于 3D 高斯模型的文本生成三维场景框架，使用 Formation Pattern Sampling 和三阶段摄像机采样策略解决现有方法中的质量、一致性、编辑灵活性等问题，通过整合对象和环境实现场景编辑的灵活性，并实验证实其在各种应用中的优越性。

    Apr, 2024

  • HiFA：高保真度文本到三维生成与高级扩散引导

    我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

    May, 2023

  • RealmDreamer: 基于文本驱动的带修补和深度扩散的 3D 场景生成

    介绍了一种名为 RealmDreamer 的技术，可以通过文本描述生成通用的正面视图 3D 场景，并且具备高质量和多样性。该技术利用先进的文本到图像生成器初始化 3D 平面，并通过多个视图进行 3D 修补和基于图像的扩散建模，从而生成富含几何结构的场景。最后，通过图像生成器的锐化样本对模型进行微调，而无需视频或多视角数据，同时还可以从单个图像合成 3D 场景。

    Apr, 2024