ICCVApr, 2021

Pri3D：3D 先验能够帮助 2D 表征学习吗？

PDF
TL;DR探讨了利用几何约束来学习视角不变、几何感知表达，通过对 RGB-D 数据进行对比度学习，实现从 3D 先验信息到 2D 表达的迁移，并在语义分割、实例分割、室内物体检测中实现了显著提升。
3d perceptiongeometric understandingrgb-d datacontrastive learningrepresentation learning
发现论文，激发创造
  • Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

    提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

    Feb, 2023

  • 用于三维形态建模与重建的深度优化先验

    该研究提出了一种新的 3D 建模和重建学习框架，通过连接基于学习和基于优化的方法的优点并优化学习的先验和潜在编码，提高了深度生成器的广义性。实验结果显示，该方法在处理高度稀疏或坍塌的观测数据方面比现有方法都有优势。

    Dec, 2020

  • 基于多视图表达学习的点云预训练

    本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法，通过引入多视角一致性损失，可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。

    Jun, 2023

  • M$^{3}$3D：使用多模态掩蔽自编码器学习 2D 图像和视频的 3D 先验

    提出了一种名为 M$^{3}$3D 的新的预训练策略，该策略基于基于多模态遮蔽自编码器，可以利用三维先验和学习的跨模态表示，以增强颜色 - 深度数据之间的对应关系，并能在各种下游任务中提高性能。

    Sep, 2023

  • 深度几何学习调查：来自表征角度

    本文从不同的表示角度综述了深度学习在三维几何中的最新发展，并总结了不同表示方法在不同应用中的优缺点，同时提出了进一步的研究方向。

    Feb, 2020

  • 使用三维先验增强二维表示学习

    通过在训练过程中直接强制将强大的三维结构先验性知识融入模型，我们提出了一种新的方法来加强现有的自监督学习方法，并通过一系列数据集实验证明了我们的三维感知表示比传统的自监督基线更加稳健。

    Jun, 2024

  • 自监督预训练在三维视觉中的不变性深入剖析

    本文针对自监督学习在 3D 视觉中的应用，提出了一个统一的框架，并对各个不变性进行了全面的研究和比较。同时，文章还提出了一个简单而有效的对 3D 编码器和深度图编码器进行联合自对比学习的方法，并在下游任务中取得了显著的性能提升。

    Jul, 2022

  • GeoDream: 高保真和一致的 3D 生成中的解耦 2D 和几何先验

    通过结合三维几何先验和二维扩散先验，GeoDream 方法能够生成具有一致的三维几何结构的文本到三维模型，并提供更高分辨率、真实感的渲染和更好的语义一致性。

    Nov, 2023

  • 使用归纳先验学习三维机器人感知

    通过使用结构性归纳偏差和先验知识，在机器人感知问题中提出了多种先验知识的来源和编码方法，以解决物体定位、决策制定和场景理解等挑战性问题。

    May, 2024

  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024