Nov, 2023

SPiC-E：利用跨实体注意力的 3D 扩散模型中的结构先验

PDF
TL;DR我们介绍了 SPiC-E—— 一种神经网络，它在 3D 扩散模型中引入了结构引导，扩展了其用于文本条件生成之外的用途。通过引入交叉实体注意机制，我们的框架允许多个实体（特别是成对的输入和引导 3D 形状）通过其内部表示在去噪网络内部进行交互。我们利用这种机制从辅助引导形状中学习面向任务的结构先验知识，展示了我们的方法支持各种应用，包括 3D 风格化、语义形状编辑和文本条件下的抽象转 3D。大量实验证明，SPiC-E 在这些任务上实现了最先进的性能，同时通常比替代方法快得多。重要的是，这一成就没有针对任何特定任务进行改进。
3d assetstext-image diffusion models3d content creationspic-estructural guidance
发现论文，激发创造
  • SPAD：有空间感的多视角扩散器

    SPAD 是一种从文本提示或单个图像创建一致的多视图图像的新方法，通过扩展自注意力层与跨视图交互的预训练 2D 扩散模型，并在 Objaverse 的高质量子集上进行微调来实现多视图生成。

    Feb, 2024

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • DreamSparse: 基于 2D 扩散模型的稀疏视角逃离柏拉图的洞穴

    本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。

    Jun, 2023

  • SweetDreamer：对齐 2D 扩散中的几何先验以实现一致性的文本到 3D

    通过将 2D 扩散模型中的几何先验与定义良好的 3D 形状进行对齐，我们提高了一致性，解决了多视角不一致问题，并获得了新的最先进性能，85% 以上的一致性率，远高于以前的方法。

    Oct, 2023

  • GeoDream: 高保真和一致的 3D 生成中的解耦 2D 和几何先验

    通过结合三维几何先验和二维扩散先验，GeoDream 方法能够生成具有一致的三维几何结构的文本到三维模型，并提供更高分辨率、真实感的渲染和更好的语义一致性。

    Nov, 2023

  • 无需训练的结构扩散引导的组合文本到图像合成

    本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了 T2I 模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

    Dec, 2022

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • Dream3D: 使用 3D 形状先验和文本到图像扩散模型进行零样本文本到三维合成

    本文提出了 Dream3D 方法，将显式的三维形状先验引入 CLIP 导向的三维优化过程中，以生成高质量的三维形状。结合文本到图像扩散模型，Dream3D 能够生成精准而富有想象力的三维内容。

    Dec, 2022

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022