Dec, 2023

基于视觉语义对齐的弱监督三维视觉定位

PDF
TL;DR基于大规模视觉 - 语言模型的弱监督学习方法，利用 2D 图像和 3D 点云之间天然存在的对应关系，无需精细标注的边界框注释，通过学习文本 - 3D 对应，实现文本查询与 3D 目标物的关联。实验结果在 ReferIt3D 和 ScanRefer 数据集上表明，3D-VLA 方法实现了与完全监督方法相当甚至更出色的效果。
3d visual grounding3d-vlaweakly supervisedvisual linguistic alignmentlarge-scale vision-language models
发现论文，激发创造
  • 基于视觉语言辅助的伪标签方法实现弱监督的三维场景图生成

    通过视觉语言辅助伪标记，我们提出了 3D-VLAP，一种弱监督的三维场景图生成方法，能够对三维点云场景进行语义对齐并生成场景图，从而在减轻数据标注压力的同时实现与完全监督方法可比较的效果。

    Apr, 2024

  • 蒸馏粗粒到精粒语义匹配知识用于弱监督的三维视觉接地

    利用弱监督注释学习 3D 视觉定位模型，通过分析对象提案和句子之间的语义相似性，我们构建了一个语义匹配模型，将粗粒度的场景 - 句子对应关系用于学习目标 - 句子链接。同时，我们将粗精度的语义匹配知识融入经典的两阶段 3D 视觉定位模型，以减少推理成本并提高性能。通过在 ScanRefer、Nr3D 和 Sr3D 上进行广泛实验证明了我们提出方法的有效性。

    Jul, 2023

  • 零字参数开放词汇三维视觉定位的可视化编程

    通过使用大型语言模型，我们提出了一种零样本开放词汇的三维视觉定位方法，使用独特的基于对话的方法和视觉程序模块，以及创新的语言 - 物体关联模块，在三维场景中实现了复杂推理，并扩展了现有三维物体检测器的应用范围，取得了显著的性能优势。

    Nov, 2023

  • VL-SAT：三维语义点云场景图预测的视觉语言语义辅助训练

    本文提出了一种名为 VL-SAT 的模型，通过多模态方案，以语言和视觉数据为基础，利用 Visual-Linguistic Semantics Assisted Training（VL-SAT）显著提升 3DSSG 预测模型的性能。通过有效地利用视觉语义性地训练，提高 3DSSG 预测模型的性能，进而对 3D 点云数据进行更好地解释。

    Mar, 2023

  • 基于点云的弱监督三维物体检测

    本文提出 VS3D，一个从点云中弱监督学习的 3D 目标检测框架，其中引入了无监督的 3D proposal 模块和跨模态知识蒸馏策略，在 KITTI 数据集上取得了优异的性能。

    Jul, 2020

  • 多层次视觉引导的弱监督 3D 目标检测

    对于弱监督的三维物体检测任务，本文提出了一种框架来研究如何在无需任何三维标签的情况下利用二维和三维领域之间的约束，通过三种视角的视觉数据建立二维和三维领域之间的关联。实验证明，在无需使用任何三维标签的情况下，该方法在 KITTI 数据集上取得了与最先进方法相媲美的性能。

    Dec, 2023

  • 基于语言规范的自然监督下的三维视觉植根

    本论文提出了一种利用语言为约束的 Language-Regularized Concept Learner (LARC) 方法，通过从语言属性中提取约束，显著提高了自然监督环境下神经符号概念学习器的准确性，改进了之前工作在自然监督的 3D 视觉定位方面的性能，并展示了广泛的三维视觉推理能力，包括零样本组合、数据效率和可迁移性，为学习无密集监督环境的结构化视觉推理框架打下了有前景的基础。

    Apr, 2024

  • EDA: 三维视觉引导的显式文本解耦和密集对齐

    本研究提出 EDA 方法，通过文本解耦和密集对齐技术实现了 3D 点云中丰富语义描述的物体检索，并在已有数据集上实现了最优结果，并在新提出的任务上取得了绝对领先。

    Sep, 2022

  • 3D-VisTA: 预训练的 Transformer 用于 3D 视觉和文本对齐

    提出了 3D-VisTA，一个用于 3D 视觉和文本对齐的预训练 Transformer 模型，可轻松适应各种下游任务，通过在 ScanScribe 数据集上进行预训练，获得了在各种 3D-VL 任务上的最先进结果，同时展示了出色的数据效率。

    Aug, 2023

  • 提升密集三维视觉对接的三种方法

    通过引入密集三维视觉接地网络 ConcreteNet，该文研究了在物理交互类应用中实现密集三维视觉接地的方法，包括引入底层注意融合模块、对潜在空间进行对比训练、以及解决视角依赖性表达的全局相机令牌，提高了富有挑战性的重复实例的接地性能，从而实现了在三维场景中进行的交互式物体定位。

    Sep, 2023