Oct, 2023

ConsistNet：对多视角图像扩散实施 3D 一致性

PDF
TL;DR给定一个三维物体的单张图像，本文提出了一种名为 ConsistNet 的新方法，能够生成同一物体的多张图像，就像从不同视角捕捉到的一样，并且有效地利用了这些多个生成图像之间的三维（多视角）一致性。
3d objectconsistnetmulti-view consistencylatent diffusion modelmulti-view image generation
发现论文，激发创造
  • ConsistDreamer: 高保真场景编辑的三维一致的二维扩散

    提出了一种名为 ConsistDreamer 的新框架，该框架在 2D 扩散模型中引入了 3D 感知和 3D 一致性，从而实现了高保真度的指导场景编辑。

    Jun, 2024

  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到 3D 视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决 3D 一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • Consistent123: 提升一张图像到三维物体合成的一致性

    使用大型图像扩散模型，通过引入跨视图关注层和共享自注意机制，提出了 Consistent123 模型以实现同时合成新视角，并在 3D 重建和图像到 3D 生成等下游任务的表现上有显著提升。

    Oct, 2023

  • 一个优化框架用于强制实施多视图一致性以在使用预训练文本到图像模型进行 3D 网格着色

    一篇介绍了一个优化框架以实现多视角一致性的研究论文，通过四个阶段的处理，生成多个 2D 纹理和相互一致的视图，并进行非刚性对齐与关联，实验结果表明该方法在质量和数量上均显著优于基准方法。

    Mar, 2024

  • 追求文本到三维生成的一致性从单张图像

    一种称为 Consist3D 的三级框架，用于单视图图像到三维生成，包括语义、几何和饱和度一致性的追踪，通过学习参数化一致性令牌和优化阶段，实现更加一致、真实和照片逼真的三维效果。

    Sep, 2023

  • VideoMV：基於大型視頻生成模型的一致多視角生成

    使用来自视频生成模型的图像，通过引入一种新的框架以及 3D 感知降噪采样策略，可以更快速地生成密集视图，提高图像的质量和一致性。

    Mar, 2024

  • SyncDreamer: 从单视图图像生成多视图一致的图像

    我们提出了一个同步多视角扩散模型 SyncDreamer，该模型可以从单视图图像生成多视角一致的图像，解决了几何和颜色保持一致性的挑战。实验显示，SyncDreamer 生成的图像在不同视角上具有高度一致性，因此非常适合于新视点综合、文本到三维和图像到三维等各种三维生成任务。

    Sep, 2023

  • MVDiff: 可扩展灵活的多视图扩散用于从单视图进行 3D 物体重建

    通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

    May, 2024

  • MultiDiff: 从单幅图像实现一致的新视角合成

    提出了 MultiDiff 方法，它是一种用于从单个 RGB 图像一致地合成新视角的新方法，通过引入单目深度预测器和视频扩散模型作为强先验条件，实现了高质量和多视角一致的结果。

    Jun, 2024

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024