Jun, 2023

Magic123: 使用二维和三维扩散先验进行单图像高质量三维物体生成

PDF
TL;DRMagic123 提出通过使用 2D 和 3D 先验知识，用单张无姿态图像实现高质量纹理 3D 网格的生成，通过参考视图监督和新视角的结合引导学习 3D 内容，并在训练过程中引入单一权衡参数控制对生成几何结构的探索和开发。此外，该模型采用文本反演和单目深度正则化以保证视角一致性和防止退化解，并在综合合成和真实场景测试中体现了较大提升。
3d meshes generationneural radiance field2d and 3d diffusion priorstrade-off parametermonocular depth regularization
发现论文，激发创造
  • Magic3D：高分辨率文本到 3D 内容生成

    本文提出了一种名为 Magic3D 的优化框架，利用低分辨率扩散先验和稀疏 3D 哈希格网结构，通过两阶段优化过程加速生成高质量 3D 网格模型，相对于 DreamFusion 优化用时减少一倍，同时也实现了更高分辨率的生成。用户调查表明，高达 61.7% 的用户更喜欢 Magic3D 模型。

    Nov, 2022

  • One-2-3-45++：一键快速生成 3D 物体的单张图片与一致性多视图生成和 3D 扩散

    这篇论文提出了一种创新的方法 One-2-3-45++，可以在大约一分钟内将单张图像转化为详细的 3D 纹理网格，通过利用二维扩散模型的知识和有限的三维数据的先验信息，该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的 3D 模型。

    Nov, 2023

  • HD-Fusion: 多噪声估计支持的详细文本到 3D 生成

    通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节，本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法，实验证明该方法相较于基线能够生成更高质量的细节。

    Jul, 2023

  • Consistent123: 使用案例感知扩散先验高度一致的 3D 资产的图像转换

    通过利用预训练的扩散模型，从单幅图像中重建 3D 对象，在通用性和重建的 3D 一致性方面表现出较差的情况下，我们提出了一种案例感知的两阶段方法，用于高度一致的 3D 资源重建，并结合了 2D 和 3D 扩散先验知识。

    Sep, 2023

  • Fourier123: 一种图像到高质量 3D 物体生成的混合傅里叶分数蒸馏方法

    用于图像到 3D 生成的一种混合 Fourier 分数蒸馏优化方法，通过优化一组 3D 高斯函数来确保几何一致性，并利用 Fourier 变换的 2D 先验知识提高视觉质量，结合现有的 3D 生成方法，实现了高效生成高质量 3D 物体的目标。

    May, 2024

  • Magic-Boost：使用多视图条件扩散提升 3D 生成

    通过 Magic-Boost，使用多视角条件扩散模型可以通过短时间的 SDS 优化显著优化粗糙的生成结果，生成具有丰富几何和纹理细节的高质量 3D 模型。

    Apr, 2024

  • HiFi-123：高保真一图到三维内容生成

    本文介绍了 HiFi-123，一种用于高保真度和多视角一致的 3D 生成的方法，通过引入参考引导的新视图增强技术和引导状态蒸馏损失，在优化的图像到 3D 过程中显著提高了 3D 生成的质量，取得了最先进的性能。通过全面的评估，定性和定量地证明了我们方法的有效性。

    Oct, 2023

  • 使用双向扩散结合 2D 和 3D 先验的文本至 3D 生成

    以 Bidirectional Diffusion（BiDiff）为框架，同时整合 3D 和 2D 扩散过程，既保持了 3D 的真实性，又保留了 2D 纹理的丰富性，通过新颖的双向引导进一步提高一致性，将生成的过程从 3.4 小时减少到 20 分钟，以达到高质量、多样性和可伸缩性的 3D 生成。

    Dec, 2023

  • Unique3D：基于单张图片的高质量高效 3D 网格生成

    我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。

    May, 2024

  • 无需针对每个形状优化，45 秒内将任意单张图像转换为 3D 网格

    该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023