Oct, 2023

HiFi-123：高保真一图到三维内容生成

PDF
TL;DR本文介绍了 HiFi-123，一种用于高保真度和多视角一致的 3D 生成的方法，通过引入参考引导的新视图增强技术和引导状态蒸馏损失，在优化的图像到 3D 过程中显著提高了 3D 生成的质量，取得了最先进的性能。通过全面的评估，定性和定量地证明了我们方法的有效性。
text-to-image diffusion models3d generationhifi-123novel view enhancementstate distillation loss
发现论文，激发创造
  • HiFA：高保真度文本到三维生成与高级扩散引导

    我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

    May, 2023

  • HiFi Tuner：高保真主题驱动微调扩散模型

    该论文研究了利用预训练的文本到图像扩散模型实现高保真个性化图像生成的进展。通过引入一种创新算法名为 HiFi Tuner 来增强在个性化图像生成过程中对对象外观保持的能力，提出了基于参数高效的微调框架，包括去噪过程和关键性倒转过程。此外，还提出了参考引导生成方法，利用参考图像的关键性倒转来减轻不想要的主题变化和伪影。实验结果表明，通过仅在文本嵌入上进行微调，CLIP-T 得分提高了 3.6 分，DINO 得分提高了 9.6 分，当对所有参数进行微调时，HiFi Tuner 在 CLIP-T 得分上提高了 1.2 分，在 DINO 得分上提高了 1.2 分，达到了新的技术水平。

    Nov, 2023

  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • Fourier123: 一种图像到高质量 3D 物体生成的混合傅里叶分数蒸馏方法

    用于图像到 3D 生成的一种混合 Fourier 分数蒸馏优化方法，通过优化一组 3D 高斯函数来确保几何一致性，并利用 Fourier 变换的 2D 先验知识提高视觉质量，结合现有的 3D 生成方法，实现了高效生成高质量 3D 物体的目标。

    May, 2024

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • HD-Fusion: 多噪声估计支持的详细文本到 3D 生成

    通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节，本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法，实验证明该方法相较于基线能够生成更高质量的细节。

    Jul, 2023

  • One-2-3-45++：一键快速生成 3D 物体的单张图片与一致性多视图生成和 3D 扩散

    这篇论文提出了一种创新的方法 One-2-3-45++，可以在大约一分钟内将单张图像转化为详细的 3D 纹理网格，通过利用二维扩散模型的知识和有限的三维数据的先验信息，该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的 3D 模型。

    Nov, 2023

  • HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成

    使用单个参考图像生成 3D 人体模型是具有挑战性的，本文提出了一种从单视角输入生成 3D 人体模型的框架 HumanRef，通过引入参考引导评分蒸馏采样（Ref-SDS）方法有效地将图像指导纳入生成过程，实现了生成具有精细几何结构、逼真纹理和视角一致性的 3D 服装人物。

    Nov, 2023

  • HoloFusion：走向真实感立体 3D 生成建模

    HoloFusion 是一种结合了不同方法的 3D 生成模型，通过从多角度 2D 图像中学习，生成高保真度、可信度和多样性的 3D 样本，包括超分辨率网络和 CO3Dv2 数据集的对比实验。

    Aug, 2023