ICCVAug, 2023

HoloFusion：走向真实感立体 3D 生成建模

PDF
TL;DRHoloFusion 是一种结合了不同方法的 3D 生成模型，通过从多角度 2D 图像中学习，生成高保真度、可信度和多样性的 3D 样本，包括超分辨率网络和 CO3Dv2 数据集的对比实验。
diffusion-based image generators3d generationholofusionsuper-resolution networkco3dv2 dataset
发现论文，激发创造
  • HOLODIFFUSION：使用 2D 图像训练 3D 扩散模型

    本研究提出了一种新的扩散设置，可以仅通过 2D 图像监督就可以进行端到端的训练，同时提出的图像形成模型将模型内存与空间内存分离，以应对 3D 扩散模型在训练上遇到的问题，并在 CO3D 数据集上进行的实验表明，该方法是可扩展的，具有稳健性，与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。

    Mar, 2023

  • 使用 3D 感知扩散模型实现生成新视图综合

    使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

    Apr, 2023

  • HiFi-123：高保真一图到三维内容生成

    本文介绍了 HiFi-123，一种用于高保真度和多视角一致的 3D 生成的方法，通过引入参考引导的新视图增强技术和引导状态蒸馏损失，在优化的图像到 3D 过程中显著提高了 3D 生成的质量，取得了最先进的性能。通过全面的评估，定性和定量地证明了我们方法的有效性。

    Oct, 2023

  • 多视角一致性插值去噪视图融合

    通过扩散模型进行新视图合成表现出了出色的潜力，然而这些常见方法中图像生成的独立过程导致在保持多视图一致性方面存在挑战。为了解决这个问题，我们引入了 ViewFusion，这是一种新颖的、无需训练的算法，可以无缝地集成到现有的预先训练好的扩散模型中。我们的方法采用自回归的方式，隐含地利用之前生成的视图作为下一个视图生成过程的上下文，确保在新视图生成过程中具有稳健的多视图一致性。通过通过插值去噪将已知视图信息融合到扩散过程中，我们的框架成功地将单视图条件模型扩展为能在多视图条件设置下工作，无需额外的微调。广泛的实验结果表明 ViewFusion 在生成一致且详细的新视图方面的有效性。

    Feb, 2024

  • Unique3D：基于单张图片的高质量高效 3D 网格生成

    我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。

    May, 2024

  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024

  • ViewFusion: 学习可组合的扩散模型用于新视角合成

    通过深度学习，本研究提出了一种新颖的视角合成方法 ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

    Feb, 2024

  • Wonder3D：跨域扩散实现从单幅图像到三维模型

    Wonder3D 是一种将单视图图像转化为高保真纹理网格的新方法，通过引入一种跨域扩散模型生成多视图法线贴图和相应的彩色图像，从而从多视图 2D 表示中提取高质量表面

    Oct, 2023

  • WildFusion：学习视角空间中的三维感知潜空扩散模型

    基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

    Nov, 2023

  • HD-Fusion: 多噪声估计支持的详细文本到 3D 生成

    通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节，本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法，实验证明该方法相较于基线能够生成更高质量的细节。

    Jul, 2023