Apr, 2024

InstantMesh: 基于稀疏视角大规模重建模型的单张图像高效三维网格生成

PDF
TL;DRInstantMesh 是一种从单个图像进行即时 3D 网格生成的前向框架，具有最先进的生成质量和可扩展的训练能力。通过发挥现有多视角扩散模型和基于 LRM 架构的稀疏视图重建模型的优势，InstantMesh 能够在 10 秒内创建多样化的 3D 资源。通过将可微分的等值面提取模块集成到我们的框架中，并直接在网格表示上进行优化，以提高训练效率和利用更多几何监督，例如深度和法线。公共数据集上的实验结果表明，InstantMesh 在定性和定量上明显优于其他最新的图像到 3D 基准。我们发布了 InstantMesh 的所有代码，权重和演示，希望它能为 3D 生成 AI 社区做出巨大贡献，并赋予研究人员和内容创作者更多的力量。
发现论文，激发创造
  • Unique3D：基于单张图片的高质量高效 3D 网格生成

    我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。

    May, 2024

  • Instant3D：稀疏视图生成和大型重建模型下的快速文本到 3D

    通过使用两阶段的方法 —— 首先使用精调的 2D 文本到图像扩散模型一次性生成稀疏一致的四个结构化视图，然后利用一种新颖的基于 Transformer 的稀疏视图重构器直接回归生成的图像的 NeRF—— 我们提出了 Instant3D，一种新颖的方法，以前馈方式从文本提示中生成高质量、多样化的 3D 资产。通过大量实验证明，我们的方法可以在 20 秒内生成高质量、多样化且无 Janus 问题的 3D 资产，比之前需要 1 到 10 小时的基于优化的方法快两个数量级。

    Nov, 2023

  • Image2Mesh: 单张图像三维重建的学习框架

    本文提出了一种使用基于网格的表示来捕捉三维重构任务中的细粒度几何信息的学习框架，它使用自由形变和稀疏线性组合的紧凑网格表示来重建三维物体，相比之前的工作，我们不依赖于轮廓和标记来进行三维重建，并在合成和真实数据集上进行了很有前途的实验结果验证。

    Nov, 2017

  • 无需针对每个形状优化，45 秒内将任意单张图像转换为 3D 网格

    该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023

  • MeshLRM：高质量网格的大型重建模型

    提出了 MeshLRM，一种基于 LRM 的新方法，在不到一秒的时间内仅使用四个输入图像进行高质量网格的重建。与以往的大型重建模型（LRMs）不同，MeshLRM 在 LRM 框架中融入了可微分网格提取和渲染，可通过微调预训练的 NeRF LRM 进行端到端的网格重建。此外，通过简化先前 LRMs 中的多个复杂设计，我们改进了 LRM 架构。MeshLRM 的 NeRF 初始化使用低分辨率和高分辨率图像进行顺序训练；这种新的 LRM 训练策略实现了显著更快的收敛速度，从而在更少的计算量下获得更好的质量。我们的方法在稀疏视图输入下实现了最先进的网格重建，并且还可应用于很多下游应用，包括文本到三维和单图像到三维的生成。项目页面：此链接。

    Apr, 2024

  • LRM：单幅图像到 3D 的大规模重建模型

    我们提出了第一个大规模重建模型 (LRM)，能够在仅 5 秒内从单个输入图像预测对象的 3D 模型。与许多以类别为基础在小规模数据集（如 ShapeNet）上训练的先前方法不同，LRM 采用一个高度可扩展的基于 transformer 的架构，具有 5 亿个可学习参数，能够直接从输入图像预测神经辐射场（NeRF）。我们以端到端的方式在包含大约 100 万个对象的海量多视图数据上训练我们的模型，包括 Objaverse 的合成渲染和 MVImgNet 的真实采集数据。这种高容量模型和大规模的训练数据的组合使得我们的模型具有很强的通用性，并能够从各种测试输入中生成高质量的 3D 重建结果，包括真实世界中的野外捕捉和生成模型的图像。可在此网站找到视频演示和可交互的 3D 网格：[https://this_URL]。

    Nov, 2023

  • FlexiDreamer：使用 FlexiCubes 的单图像生成 3D

    通过灵活的基于梯度的提取方式（FlexiCubes）以及逐步优化的多分辨率哈希格网编码方案，FlexiDreamer 能够在约 1 分钟的时间内从单视图图像中恢复出密集的 3D 结构，并在单个 NVIDIA A100 GPU 上远远优于之前的方法。

    Apr, 2024

  • One-2-3-45++：一键快速生成 3D 物体的单张图片与一致性多视图生成和 3D 扩散

    这篇论文提出了一种创新的方法 One-2-3-45++，可以在大约一分钟内将单张图像转化为详细的 3D 纹理网格，通过利用二维扩散模型的知识和有限的三维数据的先验信息，该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的 3D 模型。

    Nov, 2023

  • FastMESH：基于六边形网格神经渲染的快速曲面重构

    该论文提出了一种称为 FastMESH 的有效的基于网格的神经渲染方法，通过采用六边形网格模型以及基于粗到细的空间切割方案，可以在快速训练的同时，实现更好的重建和新视角合成效果。

    May, 2023

  • Envision3D：单图像到三维的锚定视图插值

    Envision3D 提出了一种从单张图像高效生成高质量 3D 内容的新方法，通过引入级联扩散框架和粗到细的重构算法，实现了生成具有材质和几何特性的高质量 3D 内容。

    Mar, 2024