Mar, 2024

扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

HTML
PDF
TL;DR提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本-图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。
发现论文，激发创造
  • 扩散模型的新视角综合

    我们提出了一种名为3DiM的扩散模型，用于3D新视图合成，能够将单个输入视图转换为许多视图上的一致且清晰的完成。 3DiM的核心组成部分是姿态条件的图像到图像扩散模型，它以源视图及其姿态作为输入，并将新姿态的视图作为输出生成。

    Oct, 2022

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的3D物体生成和编辑

    本文提出了一种基于文本引导扩散模型的3D场景生成、编辑和新视角合成方法，并重点讨论了3D一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 使用3D感知扩散模型实现生成新视图综合

    使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成3D一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

    Apr, 2023

  • 视图集扩散：从二维数据生成(0-)图像条件下的三维生成模型

    借助Viewset Diffusion框架，可以从2D数据中训练图像条件化的3D生成模型，从而解决单视图3D重建中的歧义问题，并通过对多视图图像集的去噪扩展了3D真实数据的可用性，通过仅渲染3张图片，我们的模型可以执行3D生成和单视图重建。

    Jun, 2023

  • 将3D几何控制添加到扩散模型中

    本篇论文提出了一种利用3D geometry control和visual prompts的扩展diffusion models生成图像的方法，可应用于计算机视觉任务并经过多个数据集的多次实验验证其效果。

    Jun, 2023

  • SweetDreamer：对齐2D扩散中的几何先验以实现一致性的文本到3D

    通过将2D扩散模型中的几何先验与定义良好的3D形状进行对齐，我们提高了一致性，解决了多视角不一致问题，并获得了新的最先进性能，85%以上的一致性率，远高于以前的方法。

    Oct, 2023

  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到3D视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决3D一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • 扩散操作：通过将激活提升至三维实现扩散模型中的三维编辑

    Diffusion Handles通过运用事先训练好的扩散模型和2D图像深度估计，实现了在扩散图像上进行3D对象编辑的新方法。通过将对象的扩散激活提升到3D空间，并在图像空间中反投影，应用具有标识控制的扩散过程，生成了保持对象身份的逼真编辑图像，显示出复杂的3D遮挡和光照效果。量化评估和用户研究表明，Diffusion Handles在3D编辑和标识控制方面的输出更加逼真且优于先前的研究成果。

    Dec, 2023

  • 三维视觉中的扩散模型：综述

    本研究解决了在三维视觉中应用扩散模型的效率和可扩展性问题，尤其是在从二次数据恢复三维场景的准确性挑战。通过对扩散模型的数学原理和架构进展的深入分析，论文阐述了其在三维对象生成、形状补全等任务中的应用。研究的主要发现是，优化计算效率和探索大规模预训练可显著提升三维视觉任务的表现，推动该领域的发展。

    Oct, 2024

  • 3D适配器：几何一致的多视角扩散用于高质量3D生成

    本研究解决了现有多视角图像扩散模型在3D几何一致性方面的不足。提出的3D适配器模块通过将3D几何意识注入预训练图像扩散模型，显著提升了几何质量。实验证明，3D适配器不仅改善了文本到多视角模型的几何效果，还支持文本到3D、图像到3D等多种任务，展现了其广泛的应用潜力。

    Oct, 2024