3d visual grounding | BriefGPT

关键词3d visual grounding

搜索结果 - 27

ECCV借助推理能力强化 3D 视觉定位
提出了一种新的任务称为 3D 推理定位，并引入了一个名为 ScanReason 的新基准，该基准提供了来自五种推理类型的超过 10K 个问题 - 答案 - 位置对，需要推理与定位的相互作用，进一步设计了我们的 ReGround3D 方法，由
PDF3 days ago
MMScan：多模态 3D 场景数据集与分层语义标注
建立了首个最大的多模态三维场景数据集与基准，并通过层次语言注释进行了多模态三维感知研究，为领域相关问题提供了重要的资源。
PDF21 days ago
3D 视觉定位的双属性空间关系对齐
提出了 DASANet，一种用于模型属性和空间关系特征的双重对齐网络，能够实现在语言和 3D 视觉模态之间建立联系，提高基于 3D 视觉的定位准确性。
PDF21 days ago
并行 LiDAR 对话：基于 3D 视觉基础的人 - 激光雷达交互方法
为了赋予激光雷达系统认知能力，我们在并行激光雷达中引入了三维视觉对接任务，并提出了一种新颖的激光雷达人机交互范式。我们提出了 Talk2LiDAR，一个针对自动驾驶中三维视觉对接的大规模基准数据集，以及一种名为 BEVGrounding 的
PDFa month ago
CVPR基于语言规范的自然监督下的三维视觉植根
本论文提出了一种利用语言为约束的 Language-Regularized Concept Learner (LARC) 方法，通过从语言属性中提取约束，显著提高了自然监督环境下神经符号概念学习器的准确性，改进了之前工作在自然监督的 3D
PDF2 months ago
通过基于提示的定位在统一框架中重新思考三维密集字幕和视觉对齐
3DGCTR 是一个统一的框架，通过重新考虑 3DVG 模型的基于提示的定位能力，将轻量级字幕头集成到现有的 3DVG 网络中，通过提取提示中的定位信息，有效地提升了 3DDC 的能力，实现了同时进行多任务训练，互相增强性能。
PDF3 months ago
DOrA：具有顺序感的三维视觉连接
DOrA 是一个使用大型语言模型的 3D 视觉指向框架，通过引入有序锚定对象，更新视觉特征并定位目标对象，在低资源和全数据场景下表现出超越当前最先进框架的优越性，分别在 1％数据和 10％数据设置下将基准提高了 9.3％和 7.8％的准确率
PDF3 months ago
SeCG：基于跨模态图注意力的语义增强的 3D 视觉定位
3D 视觉定位是指在给定相应的文本描述时，自动定位指定对象的 3D 区域。现有的研究在识别相似对象时存在困难，特别是当描述中涉及多个相关对象时。本文提出了一种基于图网络和设计的记忆图注意力层的语义增强关系学习模型 SeCG，以加强不同模态之
PDF4 months ago
MiKASA: 3D 视觉定位的多关键锚点和场景感知变换器
我们提出了 MiKASA（多键锚点场景感知）Transformer 模型，通过自注意力机制和多键锚点技术，提高了目标识别的准确性和对空间关系的理解，同时改善了决策的可解释性。在 Referit3D 挑战中，我们的模型在 Sr3D 和 Nr3
PDF4 months ago
基于视觉语义对齐的弱监督三维视觉定位
基于大规模视觉 - 语言模型的弱监督学习方法，利用 2D 图像和 3D 点云之间天然存在的对应关系，无需精细标注的边界框注释，通过学习文本 - 3D 对应，实现文本查询与 3D 目标物的关联。实验结果在 ReferIt3D 和 ScanRe
PDF7 months ago
AAAIMono3DVG: 单目图像中的三维视觉定位
我们介绍了一项新的任务，使用带有外观和几何信息的语言描述在单目 RGB 图像中进行 3D 可视定位。具体而言，我们构建了一个大规模数据集 Mono3DRefer，其中包含具有对应的几何文本描述的 3D 目标，由 ChatGPT 生成并手动改
PDF7 months ago
零字参数开放词汇三维视觉定位的可视化编程
通过使用大型语言模型，我们提出了一种零样本开放词汇的三维视觉定位方法，使用独特的基于对话的方法和视觉程序模块，以及创新的语言 - 物体关联模块，在三维场景中实现了复杂推理，并扩展了现有三维物体检测器的应用范围，取得了显著的性能优势。
PDF7 months ago
CoT3DRef: 链状思考数据高效 3D 视觉定位
设计一种可解释的 3D 视觉定位框架，通过预测一系列锚点和最终目标，将 3D 视觉定位问题形式化为序列到序列任务，将指称任务分解为可解释的中间步骤，从而提高性能并极大地提高数据效率。
PDF9 months ago
LLM-Grounder：使用大型语言模型作为代理人进行开放词汇三维视觉对接
LLM-Grounder 是一种零样本、开放词汇量的基于大型语言模型（LLM）的 3D 视觉定位流水线。通过将复杂自然语言查询拆解为语义元素，并利用可视化定位工具识别 3D 场景中的对象，LLM-Grounder 评估所提议对象之间的空间和
PDF9 months ago
ICCV提升密集三维视觉对接的三种方法
通过引入密集三维视觉接地网络 ConcreteNet，该文研究了在物理交互类应用中实现密集三维视觉接地的方法，包括引入底层注意融合模块、对潜在空间进行对比训练、以及解决视角依赖性表达的全局相机令牌，提高了富有挑战性的重复实例的接地性能，从而
PDF10 months ago
3DRP-Net: 三维相对位置感知网络用于三维视觉对接
本研究提出了一种名为 3DRP-Net 的关系感知单阶段框架，能够有效捕捉物体之间的相对空间关系，并增强物体属性。通过分析对象对之间的相对关系和减少冗余点引起的空间模糊性，我们的方法在三个基准测试中均优于所有现有的方法。
PDFa year ago
ICCV蒸馏粗粒到精粒语义匹配知识用于弱监督的三维视觉接地
利用弱监督注释学习 3D 视觉定位模型，通过分析对象提案和句子之间的语义相似性，我们构建了一个语义匹配模型，将粗粒度的场景 - 句子对应关系用于学习目标 - 句子链接。同时，我们将粗精度的语义匹配知识融入经典的两阶段 3D 视觉定位模型，以
PDFa year ago
Cross3DVG: 不同 RGB-D 扫描的跨数据集三维视觉定位基线和数据集
该研究提出了一种新的跨数据集三维视觉定位任务 Cross3DVG，创造了一个大规模的包含 63k 个三维对象多样描述的人工注释数据集，研究表明当前三维视觉定位的跨数据集泛化有很大的提升空间，结合 CLIP 的方法可以提高性能。
PDFa year ago
WildRefer: 基于多模态视觉数据和自然语言的大规模动态场景中的 3D 物体定位
本研究提出了一种基于自然语言描述和多模式视觉数据的大规模动态场景的 3D 视觉定位任务的方法，并且通过利用图像的外观特征、点云中的位置和几何特征以及连续输入帧中的动态特征，匹配语言中的语义特征。我们提出了两个新的数据集，STRefer 和
PDFa year ago
利用 GPT 和原型指导的多视角知识获取用于 3D 视觉定位
ViewRefer 是一个用于 3D 视觉定位的多视角框架，可以在文本和 3D 两种模态下获取视觉知识，提出了一种可学习的多视角原型来记忆不同视角下的场景通用知识，同时还利用视角引导的注意力模块以及最终预测中的视角引导评分策略，实现了对三个
PDFa year ago