May, 2024

Unique3D：基于单张图片的高质量高效 3D 网格生成

PDF
TL;DR我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。
unique3dimage-to-3d framework3d meshesgeneration fidelitymesh reconstruction algorithm
发现论文，激发创造
  • Wonder3D：跨域扩散实现从单幅图像到三维模型

    Wonder3D 是一种将单视图图像转化为高保真纹理网格的新方法，通过引入一种跨域扩散模型生成多视图法线贴图和相应的彩色图像，从而从多视图 2D 表示中提取高质量表面

    Oct, 2023

  • 无需针对每个形状优化，45 秒内将任意单张图像转换为 3D 网格

    该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023

  • One-2-3-45++：一键快速生成 3D 物体的单张图片与一致性多视图生成和 3D 扩散

    这篇论文提出了一种创新的方法 One-2-3-45++，可以在大约一分钟内将单张图像转化为详细的 3D 纹理网格，通过利用二维扩散模型的知识和有限的三维数据的先验信息，该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的 3D 模型。

    Nov, 2023

  • InstantMesh: 基于稀疏视角大规模重建模型的单张图像高效三维网格生成

    InstantMesh 是一种从单个图像进行即时 3D 网格生成的前向框架，具有最先进的生成质量和可扩展的训练能力。通过发挥现有多视角扩散模型和基于 LRM 架构的稀疏视图重建模型的优势，InstantMesh 能够在 10 秒内创建多样化的 3D 资源。通过将可微分的等值面提取模块集成到我们的框架中，并直接在网格表示上进行优化，以提高训练效率和利用更多几何监督，例如深度和法线。公共数据集上的实验结果表明，InstantMesh 在定性和定量上明显优于其他最新的图像到 3D 基准。我们发布了 InstantMesh 的所有代码，权重和演示，希望它能为 3D 生成 AI 社区做出巨大贡献，并赋予研究人员和内容创作者更多的力量。

    Apr, 2024

  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024

  • Efficient-3DiM：一天学会通用的单图像新视角综合器

    我们提出了一种简单而有效的框架 Efficient-3DiM，用于学习单张图像的新视角合成器，通过减小训练开销，包括精心设计的时间步长采样策略、更优质的三维特征提取器和增强的训练方案，实现了将总训练时间从 10 天缩短到不到 1 天，并在相同计算平台上（8 个 Nvidia A100 GPU 实例）加速训练过程。我们进行了全面的实验来证明我们提出方法的高效性和广泛适用性。

    Oct, 2023

  • Envision3D：单图像到三维的锚定视图插值

    Envision3D 提出了一种从单张图像高效生成高质量 3D 内容的新方法，通过引入级联扩散框架和粗到细的重构算法，实现了生成具有材质和几何特性的高质量 3D 内容。

    Mar, 2024

  • 基于主体特定知识先验的高质量单张图像三维建模

    本文提出了一种创新的两阶段方法，充分利用参考图像提供的信息，建立用于图像到 3D 生成的定制知识先验。我们提出了一种特定于主题和多模态的扩散模型，不仅通过考虑阴影模式来改善几何形状优化 NeRF，而且从粗糙结果中增强纹理以实现更好的细化。两方面都有助于使 3D 内容与主题保持一致。广泛的实验展示了我们方法 “Customize-It-3D” 的优越性，其性能显著优于以前的工作。它产生了具有令人印象深刻的视觉质量的忠实 360 度重建，非常适用于各种应用，包括文本到 3D 创建。

    Dec, 2023

  • HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成

    使用单个参考图像生成 3D 人体模型是具有挑战性的，本文提出了一种从单视角输入生成 3D 人体模型的框架 HumanRef，通过引入参考引导评分蒸馏采样（Ref-SDS）方法有效地将图像指导纳入生成过程，实现了生成具有精细几何结构、逼真纹理和视角一致性的 3D 服装人物。

    Nov, 2023

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024