May, 2023

Text2NeRF: 使用神经辐射场进行文本驱动的 3D 场景生成

PDF
TL;DRText2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致，同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度，多视角一致性和多样性的真实感 3D 场景。
text-driven 3d scene generationtext2nerfnerfnovel view synthesisnatural language description
发现论文，激发创造
  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • 从文本提示生成逼真的 3D 网格

    通过引入 SDF backbon，扩展 NeRF 来进行 3D 模型生成，并通过新颖的方法对网格纹理进行微调以改善输出的细节。

    Apr, 2023

  • 3D-SceneDreamer: 文本驱动的 3D 一致场景生成

    利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

    Mar, 2024

  • 基于文本的 4D 动态场景生成

    MAV3D 使用 4D 神经辐射场和 T2V 模型从文本描述中生成 3D 动态场景，无需 3D 或 4D 数据，通过综合的定量和定性实验证明其有效性，并显示比已建立的内部基线更好的性能。

    Jan, 2023

  • Sketch2NeRF: 多视图草图引导的文本生成三维模型

    通过多视角草图引导的文本到 3D 生成框架，使用预训练的 2D 扩散模型对神经辐射场进行优化，以实现从草图到生成 3D 场景的灵活控制。

    Jan, 2024

  • NeRF-Art：基于文本驱动的神经辐射场风格化

    本文提出了 NeRF-Art，一种基于文本引导的 NeRF 风格化方法，采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

    Dec, 2022

  • HiFA：高保真度文本到三维生成与高级扩散引导

    我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

    May, 2023

  • 基于几何引导文本图像扩散模型的神经辐射场可控三维化身生成

    提出了一种可控的文本到三维头像生成方法 Text2Control3D，利用 ControlNet 生成视角感知图像，并通过交叉注意力注入可控的面部表情和外貌，通过高斯潜变量的低通滤波解决了视角不可知纹理问题，以及通过学习图片形变表构建三维头像。

    Sep, 2023

  • 混合 - NeRF：神经辐射场中基于文本的局部编辑

    为解决文本驱动的本地化编辑 3D 对象的困难，我们提出了一种基于 NeRF 模型的新方法 Blending-NeRF，它包括两个 NeRF 网络：预训练 NeRF 和可编辑 NeRF，并引入了新的混合操作来允许 Blending-NeRF 对局部文本定位的目标区域进行适当的编辑。通过使用预训练的视觉 - 语言对齐模型 CLIP，我们指导 Blending-NeRF 添加具有不同颜色和密度的新对象，修改纹理并移除原始对象的部分。我们的实验证明，Blending-NeRF 能够从各种文本提示中产生自然而局部编辑的 3D 对象。

    Aug, 2023

  • 连接 NeRFs、图像和文本

    利用预训练模型和多模态模型，提出了一个简单的框架，实现了神经辐射场（NeRFs）嵌入与图像和文本之间的双向映射，这种映射开辟了一些新的有用应用，包括 NeRF 零样本分类和从图像或文本中检索 NeRF。

    Apr, 2024