Jan, 2023

基于扩散的 3D 场景生成、优化和规划

PDF
TL;DRSceneDiffuser 是一个用于 3D 场景理解的条件生成模型，通过扩散过程，联合制定了场景感知生成、基于物理的优化和面向目标的规划模块，相对于之前的模型，具有内在的场景感知、基于物理的设计器和面向目标的设计等优点，在人体姿态和运动生成、灵巧握持生成、三维导航路径规划和机器人臂运动规划等任务上表现了极大的潜力。
scenediffusergenerative model3d scene understandingphysics-based optimizationgoal-oriented planning
发现论文，激发创造
  • 混合扩散用于 3D 室内场景合成

    MiDiffusion 是一种新的混合离散 - 连续扩散模型架构，用于根据房间类型、平面图和可能的预存在对象合成逼真的室内 3D 场景，相比于自回归模型和扩散模型，在楼层条件下的 3D 场景合成表现出明显的优势，并可通过破坏和遮蔽策略处理部分对象约束，无需专门训练。

    May, 2024

  • 3D 扩散行为者：带有 3D 场景表示的策略扩散

    我们结合扩散策略和 3D 场景表示来实现机器人操纵，提出了一种名为 3D Diffuser Actor 的神经策略体系结构，它在给定语言指令的情况下构建视觉场景的 3D 表示，并在此基础上迭代性地对机器人的末端执行器进行 3D 旋转和平移噪声去除。通过实验验证，我们的模型在机器人学习领域取得了显著的性能提升。

    Feb, 2024

  • 具有空间约束扩散模型的人类感知三维场景生成

    通过扩展基于自回归的人体感知 3D 场景生成方法，本研究探索了扩散模型在同时考虑多个输入人体和底图的情况下生成逼真三维场景的潜力，并引入了人物物体碰撞避免和房间边界约束等空间碰撞导向机制来避免与人体动作冲突的场景生成。大量实验结果表明，与现有最先进方法相比，我们的框架可以生成更自然、更逼真的三维场景，具有精确的人体场景交互，并显著减少人物物体碰撞。

    Jun, 2024

  • 利用扩散生成驾驶场景

    本文描述了一种基于学习的交通场景生成方法，旨在模拟自动驾驶汽车的感知系统输出。通过在传输中聚合物体检测，我们的 “场景扩散” 系统直接创建真实而物理上可行的代理离散边界框组合。我们展示了我们的场景生成模型能够适应美国不同地区，从而产生捕捉每个地区细节的场景。

    May, 2023

  • 层叠场景扩散移动任何物体

    通过对不同空间布局的场景渲染进行联合去噪，SceneDiffusion 方法的关键见解在于可以通过优化扩散采样过程中的分层场景表示来实现空间分离，从而生成支持移动、调整大小、克隆以及逐层外观编辑（包括目标重塑和替换）等广泛空间编辑操作的场景。此外，可以根据参考图像生成场景，从而实现对野外图像中的目标进行移动，该方法无需进行训练，与一般的文本 - 图像扩散模型兼容，并且响应时间少于一秒。

    Apr, 2024

  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • GeoDiffuser：基于几何的扩散模型图像编辑

    GeoDiffuser 是一种优化为基础的方法，将常见的二维和三维基于图像的对象编辑功能统一为单一方法，通过将图像编辑操作视为几何变换，并将其直接合并到扩散模型的注意力层中隐式执行编辑操作，以实现保持对象风格并生成合理图像的目标函数进行训练 - free 优化方法。

    Apr, 2024

  • 基于图像渲染的去噪传播

    通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

    Feb, 2024

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • 通过扩散模型联合生成场景图和图像

    本文介绍了一项新的生成任务：联合场景图像生成。通过引入 DiffuseSG 模型，本文探索了生成逼真的场景图，使得图像生成具备高效和可解释性的控制能力，并展示了该模型在场景图生成以及相关应用中的优越性。

    Jan, 2024