3D Diffusion Policy (DP3) is a novel visual imitation learning approach that incorporates 3D visual representations to teach robots dexterous skills, demonstrating precise control, high success rates, and excellent generalization abilities, while rarely violating safety requirements in real-world robot learning.

Mar, 2024

SceneDiffuser 是一个用于 3D 场景理解的条件生成模型，通过扩散过程，联合制定了场景感知生成、基于物理的优化和面向目标的规划模块，相对于之前的模型，具有内在的场景感知、基于物理的设计器和面向目标的设计等优点，在人体姿态和运动生成、灵巧握持生成、三维导航路径规划和机器人臂运动规划等任务上表现了极大的潜力。

Jan, 2023

本文介绍了 DNAct，一种语言驱动的多任务策略框架。该框架集成了神经渲染预训练和扩散训练，以在动作序列空间中实现多模态学习。通过利用神经渲染从基础模型中提取二维语义特征并转化到三维空间，DNAct 可以对场景进行全面的语义理解，从而适用于需要丰富三维语义和准确几何信息的各种挑战性机器人任务。此外，通过扩散训练学习视觉和语言特征， DNAct 能够区分不同任务的多模态特征从而提高学习表示的鲁棒性和泛化性能。与现有的基于 NeRF 的多任务操作方法相比，DNAct 在成功率上有 30% 以上的改进。

Mar, 2024

本文提出的 Manupulation 策略 Transformer Act3D，将 6DoF 关键点预测作为自适应空间计算的 3D 检测操作，取得 RLbench 操作测试中最佳效果。

Jun, 2023

本文通过引入扩散模型，提出了一种基于对象中心槽的 3D 场景生成框架 DORSal，具有良好的渲染效果和对象级别的场景编辑功能。

Jun, 2023

本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

Nov, 2022

使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

Aug, 2023

本文描述了一种基于学习的交通场景生成方法，旨在模拟自动驾驶汽车的感知系统输出。通过在传输中聚合物体检测，我们的 “场景扩散” 系统直接创建真实而物理上可行的代理离散边界框组合。我们展示了我们的场景生成模型能够适应美国不同地区，从而产生捕捉每个地区细节的场景。

May, 2023

通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

Feb, 2024

通过扩展基于自回归的人体感知 3D 场景生成方法，本研究探索了扩散模型在同时考虑多个输入人体和底图的情况下生成逼真三维场景的潜力，并引入了人物物体碰撞避免和房间边界约束等空间碰撞导向机制来避免与人体动作冲突的场景生成。大量实验结果表明，与现有最先进方法相比，我们的框架可以生成更自然、更逼真的三维场景，具有精确的人体场景交互，并显著减少人物物体碰撞。

Jun, 2024