Mar, 2024

GeoWizard：从单张图像中释放 3D 几何估计的扩散先验

PDF
TL;DR我们介绍了一种新的生成式基础模型 GeoWizard，用于从单幅图像中估计几何属性，例如深度和法线。我们展示了生成模型在解决固有的不适定问题方面的有效性，通过扩展原始的稳定扩散模型同时预测深度和法线，我们可以捕捉具有显著保真度的 3D 几何信息。GeoWizard 在零样本深度和法线预测方面树立了新的基准，大大提升了许多下游应用程序的性能。
geowizardgenerative modelgeometric attributesdiffusion priorsscene layouts
发现论文，激发创造
  • GeoDream: 高保真和一致的 3D 生成中的解耦 2D 和几何先验

    通过结合三维几何先验和二维扩散先验，GeoDream 方法能够生成具有一致的三维几何结构的文本到三维模型，并提供更高分辨率、真实感的渲染和更好的语义一致性。

    Nov, 2023

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • GeoDiffuser：基于几何的扩散模型图像编辑

    GeoDiffuser 是一种优化为基础的方法，将常见的二维和三维基于图像的对象编辑功能统一为单一方法，通过将图像编辑操作视为几何变换，并将其直接合并到扩散模型的注意力层中隐式执行编辑操作，以实现保持对象风格并生成合理图像的目标函数进行训练 - free 优化方法。

    Apr, 2024

  • Wonder3D：跨域扩散实现从单幅图像到三维模型

    Wonder3D 是一种将单视图图像转化为高保真纹理网格的新方法，通过引入一种跨域扩散模型生成多视图法线贴图和相应的彩色图像，从而从多视图 2D 表示中提取高质量表面

    Oct, 2023

  • SweetDreamer：对齐 2D 扩散中的几何先验以实现一致性的文本到 3D

    通过将 2D 扩散模型中的几何先验与定义良好的 3D 形状进行对齐，我们提高了一致性，解决了多视角不一致问题，并获得了新的最先进性能，85% 以上的一致性率，远高于以前的方法。

    Oct, 2023

  • RichDreamer: 一个适用于文本到 3D 的可推广的法线混合模型

    通过训练一个通用的 Normal-Depth 扩散模型，结合图像到深度和法向量先验模型，以及引入反射率扩散模型来减轻材质的混合光照效果，本文提出了一种用于 3D 生成的方法，显著增强了细节丰富性，达到了最先进的结果。

    Nov, 2023

  • Magic123: 使用二维和三维扩散先验进行单图像高质量三维物体生成

    Magic123 提出通过使用 2D 和 3D 先验知识，用单张无姿态图像实现高质量纹理 3D 网格的生成，通过参考视图监督和新视角的结合引导学习 3D 内容，并在训练过程中引入单一权衡参数控制对生成几何结构的探索和开发。此外，该模型采用文本反演和单目深度正则化以保证视角一致性和防止退化解，并在综合合成和真实场景测试中体现了较大提升。

    Jun, 2023

  • 单目深度估计中扩展基于扩散的图像生成器的重新利用

    从单幅图像恢复 3D 深度是一项基础的计算机视觉任务，本研究提出了一种基于稳定扩散方法的仿射不变单目深度估计方法 Marigold，通过使用先前生成扩散模型中捕获的大量先验知识，该方法在各种数据集上取得了最先进的性能表现。

    Dec, 2023

  • 3DiffTection：具有几何感知扩散特征的三维物体检测

    我们介绍了 3DiffTection，这是一种用于从单张图像中进行 3D 物体检测的最先进方法，利用了来自 3D 感知扩散模型的特征。通过两种专门的调整策略：几何和语义，我们的方法弥合了这些差距。通过我们的方法，我们获得了为 3D 检测量身定制的 3D 感知特征，以及在识别跨视角点对应方面表现出色的能力。

    Nov, 2023

  • 使用扩散模型从物体姿态间获得极端的两视图几何

    利用物体先验知识，本文提出一种有效的方法，通过合成新视图图像来确定物体姿态，从而准确确定两个视图的相机姿态，并且在大视角变化下展现出卓越的稳健性和泛化性能。

    Feb, 2024