Nov, 2023

3DiffTection：具有几何感知扩散特征的三维物体检测

PDF
TL;DR我们介绍了 3DiffTection，这是一种用于从单张图像中进行 3D 物体检测的最先进方法，利用了来自 3D 感知扩散模型的特征。通过两种专门的调整策略：几何和语义，我们的方法弥合了这些差距。通过我们的方法，我们获得了为 3D 检测量身定制的 3D 感知特征，以及在识别跨视角点对应方面表现出色的能力。
3difftection3d object detectiondiffusion modelgeometric tuningsemantic refinement
发现论文，激发创造
  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • 3DifFusionDet：基于鲁棒性激光雷达与相机融合的三维物体检测的扩散模型

    该研究提出了 3DifFusionDet 框架，将 3D 目标检测视为从噪声 3D 框到目标框的去噪扩散过程，并通过特征对齐策略和渐进改进方法，在 LiDAR-Camera 融合中取得了显著贡献。实验证明，3DifFusionDet 在 KITTI 上的表现优于前期的经典检测器。

    Nov, 2023

  • 将 3D 几何控制添加到扩散模型中

    本篇论文提出了一种利用 3D geometry control 和 visual prompts 的扩展 diffusion models 生成图像的方法，可应用于计算机视觉任务并经过多个数据集的多次实验验证其效果。

    Jun, 2023

  • Diffusion-SS3D：半监督三维物体检测的扩散模型

    通过扩散模型来提高伪标签的质量，以实现半监督三维物体检测，改进了现有方法的性能，获得了最先进的结果。

    Dec, 2023

  • DiffRef3D：一种基于扩散的三维物体检测提案细化框架

    DiffRef3D 是一种新颖的框架，采用了首次将扩散流程应用于使用点云的三维物体检测，通过将噪声逐渐添加到提案和目标物体之间的残差，并将噪声残差应用于提案以生成假设，然后通过迭代步骤对假设进行精确的盒子预测，从而在现有的三维物体检测模型中持续改进性能。

    Oct, 2023

  • 基于扩散的随机盒子三维物体检测

    Diff3Det 使用扩散模型进行 3D 物体检测的提案生成，通过将检测框视为生成目标，在训练过程中将物体框从真实框扩散到高斯分布，并学习解码器逆转这个噪声过程。推理阶段，模型逐渐将一系列随机框细化为预测结果，在 KITTI 基准测试上表现出有希望的性能，相较于经典的基于锚点的 3D 检测方法。

    Sep, 2023

  • Diffusion 3D 特征（Diff3F）：用精炼的语义特征装饰无纹理形状

    我们提出了 Diff3F 作为一种简单、健壮且与类别无关的特征描述符，可用于计算无纹理输入形状（网格或点云）。我们的方法从图像基础模型中提取扩散特征到输入形状。通过使用输入形状生成深度和法线图作为条件图像合成的指导，我们能够在 2D 上生成（扩散）特征，并在原始表面上进行提升和聚合。我们的关键观察是，即使从输入形状的多视图渲染得到的条件图像生成结果不一致，相关的图像特征是稳健的，并且可以直接在视图间进行聚合。这产生了输入形状上的语义特征，而无需额外的数据或训练。我们在多个基准测试（SHREC'19、SHREC'20 和 TOSCA）上进行了大量实验证明，我们的特征，作为语义而不是几何特征，能够在同构和非同构相关的形状族之间产生可靠的对应关系。

    Nov, 2023

  • 3D 语义分割驱动的三维物体检测表征

    在自动驾驶中，相较于 2D 检测，3D 检测能够提供更精确的信息用于路径规划和运动估计。然而，由于缺乏几何信息，单一和多视角图像以及来自相机的深度图在检测精度上相对较低。本文提出了 SeSame：一种基于点的语义特征的新表达方法，以确保基于 LiDAR 的 3D 检测具有充足的语义信息。实验证明，我们的方法在 KITTI 物体检测基准测试中在不同难度级别和车辆上优于以前的最先进方法。

    Mar, 2024

  • 从单一视角图像中学习可控的三维扩散模型

    Control3Diff 是结合扩散模型和 3D GAN 的 3D 扩散模型，其将潜在空间直观建模并允许通过控制输入快速生成 3D 图像。该方法在多个数据集中表现优秀，包括 FFHQ, AFHQ, and ShapeNet。

    Apr, 2023

  • 通过 3D 到 2D 查询从多视角图像中进行 3D 物体检测

    提出了一种基于多摄像头的 3D 对象检测框架，使用基于上下文注意力的网络，直接在 3D 空间中进行边界框的预测，实现了全球最佳性能。

    Oct, 2021