grounding capabilities | BriefGPT

关键词grounding capabilities

搜索结果 - 5

3D-GRAND: 为 3D-LLMs 提供更好的定位和更少的幻觉
通过引入具有 40,087 个家庭场景和 6.2 百万个密集绑定的场景语言指令的 3D-GRAND，本文展示了对 3D-LLMs 中的指令调优在地面设置和降低幻觉方面的显著增强。另外，该文还提出了一个全面的基准测试 3D-POPE，以系统地
PDFa month ago
CVPRQ-GroundCAM: 通过 GradCAM 度量视觉语言模型中的基准化能力
Vision and Language Models (VLMs) have remarkable zero-shot performance, but struggle with compositional scene understan
PDF2 months ago
多模态指导的细粒度视觉感知语言模型优化
提出了 AnyRef 模型，它能从多模态参考中生成像素级的物体感知和自然语言描述，从而提供更大的灵活性，超越了文本和区域提示，无需特定的设计。通过提出的重新聚焦机制，生成的定位输出可以更好地聚焦在参考对象上，从而隐含地融入了像素级的监督。该
PDF4 months ago
PG-Video-LLaVA：像素定位大型视频 - 语言模型
Video-LLaVA 是第一个具有像素级定位能力且通过将音频转写为文本来丰富视频上下文理解的大型多模态模型，在视频中能够根据用户指令对对象进行时空定位，并在生成和问答任务中取得优异结果。
PDF7 months ago
ACL利用预训练语言模型唤醒潜在的语义关系推理能力
本文提出了一种基于擦除 - 唤醒方法的预训练语言模型的定位能力实验技术，并在四个数据集上进行了实证研究。实验证明，该方法可以唤醒潜在的实体定位，有望提高下游的语义解析模型，特别是在 text-to-SQL 的应用方面表现出了极大的潜力。
PDF3 years ago