Jul, 2023

3DRP-Net: 三维相对位置感知网络用于三维视觉对接

PDF
TL;DR本研究提出了一种名为 3DRP-Net 的关系感知单阶段框架，能够有效捕捉物体之间的相对空间关系，并增强物体属性。通过分析对象对之间的相对关系和减少冗余点引起的空间模糊性，我们的方法在三个基准测试中均优于所有现有的方法。
3d visual grounding3d relative position-aware networkobject attributesspatial relationshipssoft-labeling strategy
发现论文，激发创造
  • 3D 视觉定位的双属性空间关系对齐

    提出了 DASANet，一种用于模型属性和空间关系特征的双重对齐网络，能够实现在语言和 3D 视觉模态之间建立联系，提高基于 3D 视觉的定位准确性。

    Jun, 2024

  • 3D-RelNet：三维预测的联合物体和关系网络

    本研究提出了一种基于深度学习的方法，结合独立对象的预测和对象间关系的推理，实现场景中物体的三维形状和姿态预测，并在不同数据集上进行了性能测试。

    Jun, 2019

  • 基于自由形式描述导向的点云物体 grounding 的三维视觉图网络

    本篇论文提出了基于自由文本语言描述的三维物体定位方法，通过引入多个图模型来解决不同挑战。经过在挑战类数据集上的多次测试，结果表明我们所提出的算法优于现有最先进技术。

    Mar, 2021

  • 针对相对方向基于多任务学习方式构建的数据集：适合于我并不适合于你

    本文提出了通过端到端神经网络来解决相对方向的归一化问题，并构建了 GRiD-3D 数据集以支持此研究。实验证明，当问题刺激相对定向问题的次任务时，回答相对定向的问题是可行的。

    May, 2022

  • 基于关系图网络的点云三维物体检测

    本文提出了一种基于卷积神经网络的关系图网络模型，该模型利用方向特征、语义特征和空间坐标，结合盒子候选回归和点注意池化，探索关系图对于提高候选物体外观特征的影响，最终成功实现了在点云中检测三维物体的任务。

    Nov, 2019

  • TransRefer3D：面向细粒度 3D 视觉 grounding 的实体 - 关系感知 Transformer

    本文提出了一种基于 Transformer 的 TransRefer3D 网络，利用实体和关系感知的多模态上下文提取模块，通过协同注意力操作进行跨模态匹配，构建了逐层的多模态上下文模型，从而在细粒度 3D 视觉定位任务中实现了学习出更具区分度的特征，并在实验中取得领先的性能。

    Aug, 2021

  • CoT3DRef: 链状思考数据高效 3D 视觉定位

    设计一种可解释的 3D 视觉定位框架，通过预测一系列锚点和最终目标，将 3D 视觉定位问题形式化为序列到序列任务，将指称任务分解为可解释的中间步骤，从而提高性能并极大地提高数据效率。

    Oct, 2023

  • DOrA：具有顺序感的三维视觉连接

    DOrA 是一个使用大型语言模型的 3D 视觉指向框架，通过引入有序锚定对象，更新视觉特征并定位目标对象，在低资源和全数据场景下表现出超越当前最先进框架的优越性，分别在 1％数据和 10％数据设置下将基准提高了 9.3％和 7.8％的准确率。

    Mar, 2024

  • 3D-SPS: 通过参考点逐步选择实现单阶段 3D 视觉定位

    本文提出了一种基于语言指引的关键点选择方法，用于 3D 点云场景中的目标定位，并在实验中展示了其在 ScanRefer 和 Nr3D/Sr3D 数据集上达到了最先进的性能。

    Apr, 2022

  • 通过多任务学习实现相对方向根据的全面 VQA 数据集：早期确定 “正确性” 含义

    本文介绍了一种基于抽象物体的新型诊断性视觉问答数据集 GRiD-A-3D，以分析端到端 VQA 模型在相对方向上的地面能力的细粒度。同时，该数据集相对于现有数据集需要更少的计算资源，但具有相当甚至更高的性能。通过基于 GRiD-A-3D 训练的两个知名端到端 VQA 架构的彻底评估，本文证明了在相对指令直观处理的顺序中学习场景中物体的识别和定位以及估计它们内在方向的子任务。

    Jul, 2022