May, 2024

Coin3D：基于代理引导调控的可控交互式 3D 资源生成

PDF
TL;DR本文介绍了一种名为 Coin3D 的新型可控交互式 3D 资产建模框架，该框架允许用户利用从基本形状组装而成的粗粒度几何代理控制 3D 生成，并引入交互式生成工作流，以支持在几秒钟内快速交互编辑本地部分，并提供快速响应的 3D 对象预览。通过对不同形状代理进行交互生成和编辑的广泛实验，证明了我们的方法在 3D 资产生成任务中具有优越的可控性和灵活性。
generative techniques2d diffusion methods3d modelinginteractive generationcontrollability
发现论文，激发创造
  • 互动 3D：通过互动 3D 生成创造你想要的东西

    通过增加用户交互能力，我们引入了 Interactive3D 框架，使得用户能够精确控制 3D 生成过程，从而显著提高 3D 生成的可控性和质量。

    Apr, 2024

  • Control3D：面向可控的文本到 3D 生成

    大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

    Nov, 2023

  • 将 3D 几何控制添加到扩散模型中

    本篇论文提出了一种利用 3D geometry control 和 visual prompts 的扩展 diffusion models 生成图像的方法，可应用于计算机视觉任务并经过多个数据集的多次实验验证其效果。

    Jun, 2023

  • 清醒梦：可控的物体中心三维生成

    通过最新的生成模型，提出了一种名为 LucidDreaming 的有效管道，能够对 3D 生成进行精细控制，只需要最少的 3D 边界框输入，可以通过简单的文本提示使用大型语言模型推断，通过渲染和优化对象实现对象的分开生成，与基准方法相比，实现了更高水平的 3D 内容对齐，并提供了一个带有 3D 边界框的数据集，用于评估 3D 空间可控性。

    Nov, 2023

  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019

  • 生成渲染：可控的 4D 引导视频生成与 2D 扩散模型

    通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。

    Dec, 2023

  • 具有条件生成占用场的可控三维人脸合成

    本文提出了一种基于 NeRF 的条件生成 3D 人脸合成框架，该框架能够通过从 3D 脸部先验中强制显式的 3D 条件生成可控制性高保真面部图像，并且比现有的基于 2D 的可控制性合成方法具有更精确的 3D 可控制性。

    Jun, 2022

  • ControlDreamer: 多视角控制网络的风格化三维生成

    通过引入多视角 ControlNet 和强化学习模型 ControlDreamer，本研究在文本指导下实现了创意几何和风格的 3D 建模，同时提出了一个全面的 3D 风格编辑基准，证明该方法在质量和度量上优于现有的文本生成 3D 方法。

    Dec, 2023

  • 从单一视角图像中学习可控的三维扩散模型

    Control3Diff 是结合扩散模型和 3D GAN 的 3D 扩散模型，其将潜在空间直观建模并允许通过控制输入快速生成 3D 图像。该方法在多个数据集中表现优秀，包括 FFHQ, AFHQ, and ShapeNet。

    Apr, 2023

  • 朝现实的生成三维人脸模型

    本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法，可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。

    Apr, 2023