扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

Mar, 2024

扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors

Ruicheng Wang, Jianfeng Xiang, Jiaolong Yang, Xin Tong

TL;DR提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

Abstract

We propose a novel image editing technique that enables 3d manipulations on single images, such as object rotation and translation. Existing 3D-aware image editing approaches typically rely on synthetic multi-vie

image editing 3d manipulations image diffusion models novel view synthesis geometry alignment algorithm

发现论文，激发创造

GeoDiffuser：基于几何的扩散模型图像编辑

GeoDiffuser 是一种优化为基础的方法，将常见的二维和三维基于图像的对象编辑功能统一为单一方法，通过将图像编辑操作视为几何变换，并将其直接合并到扩散模型的注意力层中隐式执行编辑操作，以实现保持对象风格并生成合理图像的目标函数进行训练 - free 优化方法。

Apr, 2024

3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

Nov, 2022

SINE: 使用文本到图像扩散模型进行单图像编辑

本文主要讨论了通过提出新的基于模型的引导和基于修正的微调方法，解决利用单张图片进行图像编辑时过拟合问题的挑战。在扩展的实验中证明了该方法的有效性。

Dec, 2022

基于扩散模型的图像编辑：一项综述

调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

Feb, 2024

3DiffTection：具有几何感知扩散特征的三维物体检测

我们介绍了 3DiffTection，这是一种用于从单张图像中进行 3D 物体检测的最先进方法，利用了来自 3D 感知扩散模型的特征。通过两种专门的调整策略：几何和语义，我们的方法弥合了这些差距。通过我们的方法，我们获得了为 3D 检测量身定制的 3D 感知特征，以及在识别跨视角点对应方面表现出色的能力。

Nov, 2023

RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

Nov, 2022

HOLODIFFUSION：使用 2D 图像训练 3D 扩散模型

本研究提出了一种新的扩散设置，可以仅通过 2D 图像监督就可以进行端到端的训练，同时提出的图像形成模型将模型内存与空间内存分离，以应对 3D 扩散模型在训练上遇到的问题，并在 CO3D 数据集上进行的实验表明，该方法是可扩展的，具有稳健性，与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。

Mar, 2023

使用受控的多视图编辑的通用 3D 扩散适配器

MVEdit 是一个高度灵活和可扩展的框架，结合了多视角扩散和祖先采样技术，在只需 2-5 分钟的推理时间内实现了在质量和速度之间更好的平衡，对于开放领域的 3D 对象合成，多视角扩散以及高质量贴图生成等应用具有具有最先进性能的评估结果。

Mar, 2024

Diffusion$^2$: 通过正交扩散模型的得分组合生成动态 3D 内容

Diffusion$^2$ 是一种新颖的框架，通过从视频数据和多视图扩散模型获取几何一致性和时间平滑性的知识，直接生成密集的多视图和多帧图像，优化连续性 4D 表示，从而在几分钟内生成 4D 内容。

Apr, 2024

MVDiff: 可扩展灵活的多视图扩散用于从单视图进行 3D 物体重建

通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

May, 2024