Jun, 2024

SyncNoise: 文本驱动的三维场景编辑中的几何一致噪声预测

PDF
TL;DR基于 2D 扩散模型的视觉编辑已经取得了显著的能力，但如何在多个视角上实现一致的编辑仍然是一个挑战。本文提出了 SyncNoise，一种新颖的几何引导的多视角一致噪声编辑方法，通过同步编辑多个视角以强制实现几何一致性，从而确保了语义结构和低频外观的全局一致性。通过设置一组锚定视角和跨视角重投影将其传播到相邻帧，以进一步提升高频细节的局部一致性。通过训练期间引入深度监督来提高多视角对应的可靠性，并在噪声和像素级别上增强几何一致性，我们的方法实现了高质量的 3D 编辑结果，尤其是在具有复杂纹理的场景中。
发现论文，激发创造
  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到 3D 视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决 3D 一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • SyncDreamer: 从单视图图像生成多视图一致的图像

    我们提出了一个同步多视角扩散模型 SyncDreamer，该模型可以从单视图图像生成多视角一致的图像，解决了几何和颜色保持一致性的挑战。实验显示，SyncDreamer 生成的图像在不同视角上具有高度一致性，因此非常适合于新视点综合、文本到三维和图像到三维等各种三维生成任务。

    Sep, 2023

  • 具有扩散模型的长期光度一致的新视角综合

    本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

    Apr, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 通过同步联合扩散实现一致的蒙太奇

    本文提出了 SyncDiffusion 方法，使用感知相似性损失从梯度下降同步多重扩散，用于生成更加协调的全景图。

    Jun, 2023

  • ConsistDreamer: 高保真场景编辑的三维一致的二维扩散

    提出了一种名为 ConsistDreamer 的新框架，该框架在 2D 扩散模型中引入了 3D 感知和 3D 一致性，从而实现了高保真度的指导场景编辑。

    Jun, 2024

  • 3D-SceneDreamer: 文本驱动的 3D 一致场景生成

    利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

    Mar, 2024

  • 多视角一致性插值去噪视图融合

    通过扩散模型进行新视图合成表现出了出色的潜力，然而这些常见方法中图像生成的独立过程导致在保持多视图一致性方面存在挑战。为了解决这个问题，我们引入了 ViewFusion，这是一种新颖的、无需训练的算法，可以无缝地集成到现有的预先训练好的扩散模型中。我们的方法采用自回归的方式，隐含地利用之前生成的视图作为下一个视图生成过程的上下文，确保在新视图生成过程中具有稳健的多视图一致性。通过通过插值去噪将已知视图信息融合到扩散过程中，我们的框架成功地将单视图条件模型扩展为能在多视图条件设置下工作，无需额外的微调。广泛的实验结果表明 ViewFusion 在生成一致且详细的新视图方面的有效性。

    Feb, 2024

  • TexPainter: 多视角一致性的生成网格纹理

    通过梯度反向传播间接修改潜在编码，并使用优化方法的颜色融合技术来实现多视角一致性，从而提高生成纹理的质量和一致性。

    May, 2024

  • 通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏

    通过引入 GSD 框架，将三维一致性和几何意识融入 SDS 过程，该方法显著提高了性能，在文本到三维生成任务中成功解决了几何不一致性问题，并与现有的基于分值蒸馏的模型兼容。

    Jun, 2024