Mar, 2024

基于单个 CLIP 嵌入的图像到 3D 生成技术

PDF
TL;DR通过使用 Score Distillation Sampling (SDS) 和 Isotropic3D 技术，本研究提出了一种仅使用图像的 CLIP 嵌入作为输入的图像到三维生成方法，可以生成具有更加对称、整洁、几何形态良好、色彩丰富且较少失真的多视点一致图像和三维模型，同时尽可能保持与参考图像的相似性。
image-to-3d generationscore distillation samplingisotropic3ddiffusion modelclip embedding
发现论文，激发创造
  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024

  • Unique3D：基于单张图片的高质量高效 3D 网格生成

    我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。

    May, 2024

  • 能够改善基于图像的 3D 扩散的形状融合联合嵌入吗？

    本研究介绍了 CISP（Contrastive Image Shape Pretraining），旨在通过 2D 图像引导增强 3D 形状合成，分析结果显示，CISP 在生成质量、多样性和与输入图像的一致性方面显著优于 CLIP 模型，强调将 3D 知识融入生成模型的价值，为将多模态系统与 3D 表示相结合推进 3D 视觉内容的合成提供了有前途的方向。

    Feb, 2024

  • Consistent3D: 通过确定性采样先验实现一致高保真度的文本到 3D 生成

    通过分析分数蒸馏抽样（SDS）及其变体，我们发现其蒸馏抽样过程实际上对应于随机微分方程（SDE）的轨迹抽样，这启发我们提出了一种新颖有效的 “Consistent3D” 方法，该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明，Consistent3D 在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。

    Jan, 2024

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • Envision3D：单图像到三维的锚定视图插值

    Envision3D 提出了一种从单张图像高效生成高质量 3D 内容的新方法，通过引入级联扩散框架和粗到细的重构算法，实现了生成具有材质和几何特性的高质量 3D 内容。

    Mar, 2024

  • PI3D：高效的文本到 3D 生成与伪图像扩散

    本文介绍了 PI3D，一个高效的框架，利用预训练的文本到图像扩散模型在几分钟内生成高质量的 3D 形状。通过将预训练的 2D 扩散模型微调为 3D 扩散模型，PI3D 具备了 3D 生成能力和源自 2D 模型的泛化能力，并利用 2D 扩散模型的分数蒸馏抽样快速提高采样的 3D 形状的质量。通过将知识迁移为一组伪图像，PI3D 实现了从图像到三视图生成的迁移。我们通过调整预训练模型中的模块，实现了使用伪图像和真实图像进行混合训练，这已被证明是一种提高泛化能力的有效策略。PI3D 的效率在于能够在几秒钟内采样多样性的 3D 模型，并在几分钟内对其进行改进。实验结果证实了 PI3D 相对于基于 3D 扩散模型或提升 2D 扩散模型的现有方法在快速生成一致且高质量的 3D 模型方面的优势。建议的 PI3D 是文本到 3D 生成领域的一个有前景的进展，我们希望它能激发更多关于利用 2D 和 3D 数据知识的 3D 生成研究。

    Dec, 2023

  • 使用双向扩散结合 2D 和 3D 先验的文本至 3D 生成

    以 Bidirectional Diffusion（BiDiff）为框架，同时整合 3D 和 2D 扩散过程，既保持了 3D 的真实性，又保留了 2D 纹理的丰富性，通过新颖的双向引导进一步提高一致性，将生成的过程从 3.4 小时减少到 20 分钟，以达到高质量、多样性和可伸缩性的 3D 生成。

    Dec, 2023

  • DiffCLIP: 利用稳定扩散进行语言增强的 3D 分类

    本文提出了一种新的预训练框架 DiffCLIP，其结合稳定扩散和 ControlNet，以减小视觉分支中的域间差异，并引入了一种样式提示生成模块，用于少样本任务，在 ModelNet10、ModelNet40 和 ScanObjectNN 数据集上进行广泛实验，表明 DiffCLIP 具有强大的 3D 理解能力。使用稳定扩散和样式提示生成，DiffCLIP 在 ScanObjectNN 的 OBJ_BG 数据集上实现了 43.2％的零样本分类精度，这是最先进的技术水平，并且在 ModelNet10 上实现了 80.6％的零样本分类精度，这与最先进的技术水平相当。

    May, 2023