Dec, 2023

AnimatableDreamer: 文本指导的非刚性三维模型生成与重建的规范分数蒸馏

PDF
TL;DRAnimatableDreamer 是一个文本到四维 (4D) 生成框架，通过从单目视频中提取的物体运动生成多种类别的非刚性物体，借助于我们的创新优化设计，即 Canonical Score Distillation (CSD) 简化了 4D 到 3D 生成维度，通过在时间变化的相机空间中去噪音并在唯一的规范空间中进行蒸馏过程，CSD 通过可微分的扭曲保证得分梯度通过规范空间反向传播，从而保证了时间一致的生成并在不同姿势中保持形态的可信度，在 4D 模型生成方面提供了一种新的视角和非刚性 3D 模型重构方法。
发现论文，激发创造
  • ScaleDreamer: 异步分数蒸馏的可扩展文本到 3D 合成

    通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型，我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合，尤其在大型文本数据集下表现出卓越的一致性。

    Jul, 2024

  • 4D-fy: 使用混合分数蒸馏抽样实现文本到 4D 生成

    使用混合得分蒸馏取样的方法，我们展示了具有引人注目外观、3D 结构和动态的 4D 场景的合成。

    Nov, 2023

  • 亮梦想者：通用的 3D 高斯生成框架用于快速文本到 3D 合成

    BrightDreamer 是一种端到端的单阶段方法，可以实现通用且快速（77 毫秒）的文本到 3D 生成，通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。

    Mar, 2024

  • 文本和图像引导的 4D 场景生成的统一方法

    通过使用扩散生成模型，我们提出了 Dream-in-4D 方法，可以有效地实现从文本和图像生成动态的 3D 场景，该方法包括利用扩散指导学习高质量的静态 3D 资源、使用可变形神经光辐射场将学习的静态资源与形变分离、以及使用多分辨率特征网格和位移总变差损失来学习具有视频扩散指导的运动。通过用户偏好研究，我们证明了与基线方法相比，我们的方法在图像质量、动态一致性和文本保真度方面显著提高了文本到 4D 生成的效果。由于其运动分离表示，我们的方法还可以轻松应用于可控的生成，其中外观由一个或多个图像定义，无需修改运动学习阶段。因此，我们的方法首次提供了一种统一的方法，用于文本到 4D、图像到 4D 和个性化 4D 生成任务。

    Nov, 2023

  • 高效文本引导的三维感知人像生成：应用得分蒸馏采样于分布

    本研究提出了一种名为 DreamPortrait 的算法，它可以在一个前向传递中生成文本引导下的 3D 感知画像，通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布，进一步设计了 3D 感知门控交叉关注机制，生成高效且具有鲁棒的多视图语义一致性的人像。

    Jun, 2023

  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024

  • 4DGen: 基于时空一致性的基于地面的 4D 内容生成

    4DGen 是一种新颖的综合框架，将 4D 内容创建任务拆分为多个阶段，利用静态 3D 资产和单目视频序列作为构建 4D 内容的关键组成部分，使用动态 3D Gaussians 构建 4D 表示，在训练期间利用渲染进行高分辨率监督，从而实现了高质量的 4D 生成，并实施了 3D 感知的得分蒸馏采样和平滑正则化以提供空间 - 时间伪标签和无缝一致性先验，相比现有基线方法，在忠实重建输入信号和从新视点和时间步骤推断渲染方面取得了具有竞争力的结果，最重要的是，我们的方法支持基于实际场景的生成，为用户提供了增强控制，这是以前方法难以实现的特点。

    Dec, 2023

  • Dream-in-Style: 使用风格化得分蒸馏的文本到 3D 生成

    通过输入文本和风格参考图像，我们提出了一种生成风格化的三维对象的方法，利用神经辐射场重建来合成与文本提示一致内容和风格参考图像的三维模型，并通过样式化评分蒸馏损失来指导文本到三维的优化过程，输出视觉合理的几何和外观。经与现有方法的比较表明我们方法在视觉上表现强大，同时通过用户研究的定量结果得到进一步支持。

    Jun, 2024

  • ClotheDreamer: 基于文本引导的 3D 高斯服装生成

    通过 ClotheDreamer, 一种基于高斯的方法，从文本提示中生成可穿戴的、适合生产的 3D 服装，可用于虚拟试穿和支持精确动画。

    Jun, 2024

  • VividDreamer：朝向高保真高效的文本到 3D 生成

    提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

    Jun, 2024