Dec, 2023

Diff-OP3D：连接 2D 扩散以进行 Open Pose 3D 零样本分类

PDF
TL;DR通过在 3D 视觉领域运用 Contrastive Language-Image Pre-training (CLIP) 方法，本论文提出了一个更具挑战性的 3D 开放姿态零样本分类基准，并通过设计一个简洁的角度优化机制以及将 2D 预训练扩散模型应用于 3D 零样本分类，成功提高了模型性能，验证了扩散方法在 3D 零样本任务中的有效性。
zero-shot learningclip3d visionopen posesdiffusion model
发现论文，激发创造
  • DiffCLIP: 利用稳定扩散进行语言增强的 3D 分类

    本文提出了一种新的预训练框架 DiffCLIP，其结合稳定扩散和 ControlNet，以减小视觉分支中的域间差异，并引入了一种样式提示生成模块，用于少样本任务，在 ModelNet10、ModelNet40 和 ScanObjectNN 数据集上进行广泛实验，表明 DiffCLIP 具有强大的 3D 理解能力。使用稳定扩散和样式提示生成，DiffCLIP 在 ScanObjectNN 的 OBJ_BG 数据集上实现了 43.2％的零样本分类精度，这是最先进的技术水平，并且在 ModelNet10 上实现了 80.6％的零样本分类精度，这与最先进的技术水平相当。

    May, 2023

  • Zero123-6D：RGB 类别级别 6D 姿态估计的零样本新视角合成

    通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。

    Mar, 2024

  • 3DiffTection：具有几何感知扩散特征的三维物体检测

    我们介绍了 3DiffTection，这是一种用于从单张图像中进行 3D 物体检测的最先进方法，利用了来自 3D 感知扩散模型的特征。通过两种专门的调整策略：几何和语义，我们的方法弥合了这些差距。通过我们的方法，我们获得了为 3D 检测量身定制的 3D 感知特征，以及在识别跨视角点对应方面表现出色的能力。

    Nov, 2023

  • 回归优化：基于扩散的零样例三维人体姿势估计

    通过结合基于优化和基于学习的方法，我们提出了 Zero-shot Diffusion-based Optimization (ZeDO) 管线，用于解决跨领域和野外环境下的 3D 人体姿态估计问题，并在多种数据集上实现了最先进的性能。

    Jul, 2023

  • 学习无姿态注释的类别级物体姿态估计器

    提出了一种不需要姿态标注的类别级三维物体姿态估计方法，通过使用扩散模型生成一组具有姿态差异的图像，并利用图像编码器和新颖的学习策略解决噪声和伪影问题，实现了从单次拍摄中对类别级物体姿态的估计，并在少样本类别级物体姿态估计基准上显著优于其他先进方法。

    Apr, 2024

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • DiffPose: 3D 姿态估计更可靠的方法

    提出一种新颖的姿态估计框架 (DiffPose)，基于扩散模型将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • O^2-Recon：利用预训练的 2D 扩散模型完成场景中被遮挡物体的 3D 重建

    本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。

    Aug, 2023

  • 利用扩散模型改进 2D-3D 稠密对应关系以提高 6D 物体姿态估计

    比较了基于 GAN 和扩散模型的图像翻译网络在 6D 物体姿态估计任务中的表现，结果表明扩散模型优于 GAN，揭示了进一步改进物体姿态估计模型的潜力。

    Feb, 2024

  • 二次姿势：离散扩散模型用于遮挡人体三维姿势估计

    连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性，但需要大型搜索空间和大量训练数据，易于生成生物力学上不真实的姿势。为应对这些限制，我们引入了离散扩散姿势（Di2Pose），一种专为遮挡的三维人体姿势估计设计的新型框架，利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示，然后通过离散扩散过程在潜在空间中对其进行建模，将搜索空间限制在物理上可行的配置范围内，并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估（如 Human3.6M、3DPW 和 3DPW-Occ）表明其有效性。

    May, 2024