Sep, 2023

追求文本到三维生成的一致性从单张图像

PDF
TL;DR一种称为 Consist3D 的三级框架，用于单视图图像到三维生成，包括语义、几何和饱和度一致性的追踪，通过学习参数化一致性令牌和优化阶段，实现更加一致、真实和照片逼真的三维效果。
text-to-3d generationconsistencysemantic encodinggeometric encodingoptimization
发现论文，激发创造
  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到 3D 视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决 3D 一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • Consistent123: 提升一张图像到三维物体合成的一致性

    使用大型图像扩散模型，通过引入跨视图关注层和共享自注意机制，提出了 Consistent123 模型以实现同时合成新视角，并在 3D 重建和图像到 3D 生成等下游任务的表现上有显著提升。

    Oct, 2023

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • VividDreamer：朝向高保真高效的文本到 3D 生成

    提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

    Jun, 2024

  • ConsistNet：对多视角图像扩散实施 3D 一致性

    给定一个三维物体的单张图像，本文提出了一种名为 ConsistNet 的新方法，能够生成同一物体的多张图像，就像从不同视角捕捉到的一样，并且有效地利用了这些多个生成图像之间的三维（多视角）一致性。

    Oct, 2023

  • Make-Your-3D：快速而一致的主题驱动三维内容生成

    我们引入了一种新颖的 3D 个性化方法，名为 Make-Your-3D，可以从单个主题图像和文本描述中提取个性化的高保真、一致的 3D 内容，在 5 分钟内完成。我们设计了一个共同进化的框架，通过身份感知优化和主题先验优化，使多视图扩散模型和身份特定的 2D 生成模型的分布与期望的 3D 主题的分布相一致。广泛的实验证明我们的方法可以产生高质量、一致性和主题特定的 3D 内容，并进行文本驱动的修改。

    Mar, 2024

  • 3D-SceneDreamer: 文本驱动的 3D 一致场景生成

    利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

    Mar, 2024

  • Consistent123: 使用案例感知扩散先验高度一致的 3D 资产的图像转换

    通过利用预训练的扩散模型，从单幅图像中重建 3D 对象，在通用性和重建的 3D 一致性方面表现出较差的情况下，我们提出了一种案例感知的两阶段方法，用于高度一致的 3D 资源重建，并结合了 2D 和 3D 扩散先验知识。

    Sep, 2023