Mar, 2024

ComboVerse: 空间感知扩散指导下的构成性 3D 资产创建

PDF
TL;DRComboVerse 是一个 3D 生成框架，通过学习结合多个模型来生成具有复杂构成的高质量 3D 模型，对于生成组合型的 3D 模型比现有方法取得了明显的改进。
3d assetssingle-image 3d generationmulti-object gapcomboversespatially-aware score distillation sampling
发现论文，激发创造
  • 基於預訓練多視圖擴散模型的扎實可組件化且多樣性的文本至三維

    本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法，通过使用预训练的多视角扩散模型，在准确遵循复杂的、构成性的文本提示的同时实现高保真度，生成能够准确遵循复杂、构成性文本提示的 3D 资产。

    Apr, 2024

  • 神经资产：具有 3D 感知多目标场景合成的图像扩散模型

    通过使用神经资产（Neural Assets）控制场景中各个对象的三维姿势，我们提出了一种解决图像扩散模型中多对象三维姿势控制问题的方法，通过将目标帧的对象姿势作为条件编码到参考图像的对象视觉表示中，实现了外观与姿势特征的分离，并结合现有模型的文本到图像架构，使得我们的方法能够对场景中的每个对象进行精细的三维姿势和放置控制，通过在预训练的文本到图像扩散模型中微调这些信息，我们的模型在合成三维场景数据集和两个真实世界视频数据集（Objectron, Waymo Open）上实现了最新的多对象编辑结果。

    Jun, 2024

  • Diffusion$^2$: 通过正交扩散模型的得分组合生成动态 3D 内容

    Diffusion$^2$ 是一种新颖的框架，通过从视频数据和多视图扩散模型获取几何一致性和时间平滑性的知识，直接生成密集的多视图和多帧图像，优化连续性 4D 表示，从而在几分钟内生成 4D 内容。

    Apr, 2024

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • DreamComposer: 可控的多视角条件下的 3D 物体生成

    利用预训练的 2D 大规模生成模型，我们提出了 DreamComposer，一个可灵活可扩展的框架，通过注入多视图条件来增强现有的视图感知扩散模型，以生成具有高保真度的具有多视图条件的新视图图像，并用于可控的 3D 物体重建和其他各种应用。

    Dec, 2023

  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024

  • Comp4D: 基于 LLM 的组合 4D 场景生成

    使用大型语言模型 (LLMs) 以及预训练扩散模型，Comp4D 框架通过将文本提示分解为不同的实体并映射它们的轨迹，分别构建场景中的每个对象的四维 (4D) 表示，以获得卓越的 4D 内容生成能力，展现了更好的视觉质量、动作保真度和增强的对象交互。

    Mar, 2024

  • 场景条件下的三维物体风格化与组合

    通过结合建模和优化对象的纹理和环境光照，本论文提出了一个框架，使得现有的 3D 资源能够适应给定的 2D 场景，同时生成一种真实感的组合效果，使得假定的对象能够放入该环境中。

    Dec, 2023

  • 合成与征服：基于扩散的三维深度感知可组合图像合成

    通过整合三维物体放置、全局风格语义以及软引导等技术，我们提出了一种条件扩散模型 ——Compose and Conquer (CnC)，能够分离式地定位多个条件，并实现对不同全局语义所定位的局部物体的创作。

    Jan, 2024

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024