Jun, 2024

Director3D: 从文本生成真实世界摄像机轨迹和 3D 场景

PDF
TL;DR通过在真实世界的数据集上生成逼真的 3D 场景，本研究提出了 Director3D，一种用于生成真实世界 3D 场景和自适应摄像机轨迹的强大开放式文本到 3D 生成框架。经过大量实验证明，Director3D 在真实世界的 3D 生成领域具有优越性能。
3d generationreal-world datasetscamera trajectoriestext-to-3d generationdirector3d
发现论文，激发创造
  • 4Real: 通过视频扩散模型实现逼真的四维场景生成

    为了解决现有动态场景生成方法的局限性，本研究提出一种新的流程，通过使用视频生成模型，摒弃了对多视图生成模型的依赖，从而充分利用了在多样真实世界数据集上训练的视频生成模型，生成具有增强的逼真度和结构完整性的动态场景，可从多个角度查看，为 4D 场景生成树立了新的标准。

    Jun, 2024

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • DIRECT-3D: 基于大规模噪声三维数据的直接文本到三维生成学习

    DIRECT-3D 是一种基于扩散的三维生成模型，从文本提示中创建高质量的三维资产（由神经辐射场表示）；通过直接在大规模无序三维资产上训练，同时过滤和对齐噪声数据，使用迭代优化的扩散过程估计物体的三维姿势并选择有益数据，并通过两个条件性扩散模型实现分离对象几何和颜色特征的高效三维表示；模型能在几秒内生成具有准确几何细节的高质量、高分辨率、逼真而复杂的三维对象，并在单类别生成和文本到三维生成方面达到最先进的性能。

    Jun, 2024

  • 3D-SceneDreamer: 文本驱动的 3D 一致场景生成

    利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

    Mar, 2024

  • Bootstrap3D：利用合成数据提升三维内容创作

    提出一种名为 Bootstrap3D 的新框架，它能自动生成任意数量的多视图图像，为多视图扩散模型的训练提供帮助。还引入了数据生成流水线和训练时间步骤重新安排策略，并通过大量实验证明 Bootstrap3D 能生成具有高质量、美学性、图像 - 文本对齐度和视图一致性的多视图图像。

    May, 2024

  • 4DGen: 基于时空一致性的基于地面的 4D 内容生成

    4DGen 是一种新颖的综合框架，将 4D 内容创建任务拆分为多个阶段，利用静态 3D 资产和单目视频序列作为构建 4D 内容的关键组成部分，使用动态 3D Gaussians 构建 4D 表示，在训练期间利用渲染进行高分辨率监督，从而实现了高质量的 4D 生成，并实施了 3D 感知的得分蒸馏采样和平滑正则化以提供空间 - 时间伪标签和无缝一致性先验，相比现有基线方法，在忠实重建输入信号和从新视点和时间步骤推断渲染方面取得了具有竞争力的结果，最重要的是，我们的方法支持基于实际场景的生成，为用户提供了增强控制，这是以前方法难以实现的特点。

    Dec, 2023

  • Vid3D：使用 2D 视频扩散合成动态 3D 场景

    该研究讨论了计算机视觉中的一个前沿课题，3D 视频生成，以生成场景的时变 3D 表示为目标。通过提出 Vid3D 模型，研究表明可以通过生成视频的二维 “种子” 和独立生成每个时间步的三维表示，来实现高质量的动态 3D 场景生成，从而不再需要显式建模多视角一致性或三维时间动态，为此任务提供更简单的生成算法。

    Jun, 2024

  • 生成渲染：可控的 4D 引导视频生成与 2D 扩散模型

    通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。

    Dec, 2023

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • Sat2Scene: 基于扩散的卫星图像三维城市场景生成

    利用扩散模型与神经渲染技术，提出了一种新颖的直接生成三维场景的方法，该方法能够从卫星图像中生成逼真的街景图像序列和跨视角城市场景。

    Jan, 2024