Jul, 2023

MVDiffusion：基于对应关系感知扩散的全景多视图图像生成

PDF
TL;DRMVDiffusion 是一种基于视角差异的、并行、全局相互作用的图片生成模型，其特征是应用了一个各视图之间基于对应关系的注意力机制，在保持全局一致的前提下，同时生成所有图片，可用于全景图像和基于几何的多视图图像生成。
mvdiffusionmulti-view image generationcorrespondence-aware attention mechanismpanoramic imagerygeometry-conditioned multi-view image generation
发现论文，激发创造
  • MVDiff: 可扩展灵活的多视图扩散用于从单视图进行 3D 物体重建

    通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

    May, 2024

  • MVDream：多视角扩散用于 3D 生成

    我们提出 MVDream，这是一个多视图扩散模型，能够根据给定的文本提示生成几何一致的多视图图像。通过利用在大规模 Web 数据集上预训练的图像扩散模型和从 3D 资源渲染的多视图数据集，所得到的多视图扩散模型可以实现 2D 扩散的概括性和 3D 数据的一致性。该模型可以被应用为 3D 生成的多视图先验，通过 Score Distillation Sampling 来解决现有 2D-lifting 方法中的 3D 一致性问题，从而极大地提高了稳定性。最后，我们展示了多视图扩散模型也可以在少量样本设置下进行微调，用于个性化的 3D 生成，即 DreamBooth3D 应用中，在学习主体身份之后可以保持一致性。

    Aug, 2023

  • MVDiffusion++：密集高分辨率多视图扩散模型用于单视或稀疏视角的三维对象重建

    本研究提出了一种名为 MVDiffusion++ 的神经架构，用于 3D 物体重建，通过一张或几张图像生成物体的密集高分辨率视图。MVDiffusion++ 采用了两个令人惊讶地简单的想法，即 “无姿态架构”，其中 2D 潜在特征之间的标准自注意力学习了在任意数量的条件和生成视图之间的 3D 一致性，而无需明确使用相机姿态信息，并且 “视图丢弃策略” 在训练期间丢弃了大量输出视图，减少了训练时的内存占用，并且在测试时实现了密集高分辨率视图合成。我们使用 Objaverse 进行训练并使用 Google 扫描的物体进行评估，采用了标准的新视图合成和 3D 重建度量，其中 MVDiffusion++ 显著优于当前的技术水平。我们还通过将 MVDiffusion++ 与文本到图像生成模型相结合，展示了一个文本到 3D 的应用示例。

    Feb, 2024

  • MVD$^2$: 多视角扩散的高效多视角三维重建

    MVD$^2$ 是一种有效的三维重建方法，通过聚合图像特征并将其解码成三维网格，改善了多视角扩散生成图像的三维生成质量，且在不同的多视角扩散方法下具有快速和稳健的性能。

    Feb, 2024

  • MVDD：多视角深度扩散模型

    利用多视角深度，通过 MVDD 扩展扩散模型以生成高质量的 3D 形状，并通过增强视图之间的一致性及深度图对齐来提供卓越的 3D 形状生成和深度完成能力，以及作为下游任务的 3D 先验。

    Dec, 2023

  • MultiDiff: 从单幅图像实现一致的新视角合成

    提出了 MultiDiff 方法，它是一种用于从单个 RGB 图像一致地合成新视角的新方法，通过引入单目深度预测器和视频扩散模型作为强先验条件，实现了高质量和多视角一致的结果。

    Jun, 2024

  • 使用受控的多视图编辑的通用 3D 扩散适配器

    MVEdit 是一个高度灵活和可扩展的框架，结合了多视角扩散和祖先采样技术，在只需 2-5 分钟的推理时间内实现了在质量和速度之间更好的平衡，对于开放领域的 3D 对象合成，多视角扩散以及高质量贴图生成等应用具有具有最先进性能的评估结果。

    Mar, 2024

  • MVD-Fusion: 单视角 3D 通过深度一致的多视角生成

    通过对多视角一致的 RGB-D 图像进行生成建模，我们提出了 MVD-Fusion：一种用于通过单视角推理 3D 的方法。

    Apr, 2024

  • 4Diffusion: 多视角视频扩散模型的 4D 生成

    我们提出了一种新颖的 4D 生成管道，名为 4Diffusion，旨在从单目视频中生成空间时间一致的 4D 内容。通过将可学习的运动模块与冻结的 3D 感知扩散模型结合，我们设计了一个为多视图视频生成量身定制的统一扩散模型，以捕捉多视图空间时间相关性。通过在精心策划的数据集上训练，我们的扩散模型获得了合理的时间一致性，并固有地保留了 3D 感知扩散模型的泛化性和空间一致性。随后，我们提出了基于我们的多视图视频扩散模型的 4D 感知得分蒸馏采样损失，以优化由动态 NeRF 参数化的 4D 表示，从而消除多个扩散模型引起的差异，实现生成空间时间一致的 4D 内容。此外，我们设计了一个锚点损失，以增强外观细节并促进动态 NeRF 的学习。广泛的定性和定量实验证明，我们的方法相比之前的方法具有更好的性能。

    May, 2024

  • Vivid-ZOO: 多视图视频生成与扩散模型

    提出了一种基于扩散模型的新方法，从文本生成以动态三维物体为中心的高质量多视图视频，通过将问题分解为视点空间和时间组件，并引入对齐模块来保证生成的多视图视频的一致性和连贯性，同时解决了二维和多视图数据之间的领域差异。

    Jun, 2024