MMSep, 2023

3D 场景中的密集物体定位

PDF
TL;DR通过语义定位 3D 场景中的物体是多媒体理解领域的一项基础且重要的任务，本研究提出了一种名为 3D Dense Object Grounding (3D DOG) 的新任务，通过更复杂的段落描述而不是单个句子来共同定位多个物体，提出了一种基于 Stacked Transformer 的新框架 3DOGSFormer，通过上下文查询驱动的局部 Transformer 解码器生成初始定位提议，并利用提议驱动的全局 Transformer 解码器进一步优化初始定位提议，实验证明该方法在多个具有挑战性的基准上胜过现有的 3D 单个物体定位方法和它们的稠密对象变种。
3d dense object groundingmultimedia understandingstacked transformer based frameworklocalizationdense objects
发现论文，激发创造
  • 提升密集三维视觉对接的三种方法

    通过引入密集三维视觉接地网络 ConcreteNet，该文研究了在物理交互类应用中实现密集三维视觉接地的方法，包括引入底层注意融合模块、对潜在空间进行对比训练、以及解决视角依赖性表达的全局相机令牌，提高了富有挑战性的重复实例的接地性能，从而实现了在三维场景中进行的交互式物体定位。

    Sep, 2023

  • Multi3DRefer: 文本描述与多个 3D 对象的关联

    我们介绍了使用自然语言描述来定位现实世界 3D 场景中多个对象的任务。我们提出了 Multi3DRefer，扩展了 ScanRefer 数据集和任务，并引入了新的评估指标和基准方法以进一步研究多模态 3D 场景理解。此外，我们利用 CLIP 的 2D 特征和对比学习在线渲染对象提案，构建了更好的基准线，该基准线在 ScanRefer 基准测试上超越了最新技术。

    Sep, 2023

  • 基于自由形式描述导向的点云物体 grounding 的三维视觉图网络

    本篇论文提出了基于自由文本语言描述的三维物体定位方法，通过引入多个图模型来解决不同挑战。经过在挑战类数据集上的多次测试，结果表明我们所提出的算法优于现有最先进技术。

    Mar, 2021

  • EDA: 三维视觉引导的显式文本解耦和密集对齐

    本研究提出 EDA 方法，通过文本解耦和密集对齐技术实现了 3D 点云中丰富语义描述的物体检索，并在已有数据集上实现了最优结果，并在新提出的任务上取得了绝对领先。

    Sep, 2022

  • 3D 密集字幕的全面调查：定位和描述 3D 场景中的物体

    3D 密集的图像描述是一个新兴的视觉 - 语言桥接任务，旨在为 3D 场景生成多个详细准确的描述。本文提供了一份综合性的 3D 密集图像描述综述，涵盖了任务定义、架构分类、数据集分析、评估指标和深入的繁荣讨论。通过综合以前的文献，我们提炼了一个作为现有方法共同范例的标准流程，并提出了一种清晰的现有模型分类方法，并总结了不同模块中涉及的技术，并进行了详细的实验分析。同时，我们也提出了一系列有前景的 3D 密集图像描述的未来方向，并将其与相关任务的发展相结合，为这一领域的未来研究提供有价值的见解和启发。我们的目标是提供对 3D 密集图像描述的全面理解，促进进一步的研究，并在多媒体和相关领域的新应用的发展中做出贡献。

    Mar, 2024

  • 蒸馏粗粒到精粒语义匹配知识用于弱监督的三维视觉接地

    利用弱监督注释学习 3D 视觉定位模型，通过分析对象提案和句子之间的语义相似性，我们构建了一个语义匹配模型，将粗粒度的场景 - 句子对应关系用于学习目标 - 句子链接。同时，我们将粗精度的语义匹配知识融入经典的两阶段 3D 视觉定位模型，以减少推理成本并提高性能。通过在 ScanRefer、Nr3D 和 Sr3D 上进行广泛实验证明了我们提出方法的有效性。

    Jul, 2023

  • 通过基于提示的定位在统一框架中重新思考三维密集字幕和视觉对齐

    3DGCTR 是一个统一的框架，通过重新考虑 3DVG 模型的基于提示的定位能力，将轻量级字幕头集成到现有的 3DVG 网络中，通过提取提示中的定位信息，有效地提升了 3DDC 的能力，实现了同时进行多任务训练，互相增强性能。

    Apr, 2024

  • 神经场上的 3D 概念基础

    本文提出了一种利用神经场进行三维概念定位、分割和学习的方法，并通过问题回答来实现可微分的模型训练，实现了在语义和实例分割、三维视觉推理任务中的性能提升。

    Jul, 2022

  • 利用丰富的词汇基础实现文本到三维场景生成

    该论文介绍了如何使用自然语言描述来学习将文本场景映射到三维几何表示中的方法，并且使用基于规则的方法来生成三维场景的方法得到了改进。他们还引入了一种自动化评估度量来评估生成的 3D 场景。

    May, 2015

  • 自主驾驶点云中基于语言的 3D 物体检测

    本文提出了一种新的多模态视觉定位任务，称为 LiDAR Grounding，并通过设计一种名为 MSSG 的多模态单次定位方法来实现，通过跨模态学习来提高定位精度和效率。

    May, 2023