object grounding | BriefGPT

关键词object grounding

搜索结果 - 7

跨模态上下文学习实现多模态生成
本研究提出了一种利用大型语言模型和扩散模型的多模式生成方法（MGCC），通过在 LLM 嵌入空间中显式学习文本和图像之间的跨模式依赖关系以及生成特定于多物体场景的对象边界框，实现了从复杂的多模式提示序列中生成新图像的能力，并在两个基准数据集
PDFa month ago
AAAI基于检测的视觉问答中间监督
采用检测为基础的中间监督方法（DIS）来提供更全面和准确的中间监督，从而提升了回答推理性问题的性能，并通过考虑中间结果来增强了回答复合问题及其子问题的一致性。
PDF6 months ago
PG-Video-LLaVA：像素定位大型视频 - 语言模型
Video-LLaVA 是第一个具有像素级定位能力且通过将音频转写为文本来丰富视频上下文理解的大型多模态模型，在视频中能够根据用户指令对对象进行时空定位，并在生成和问答任务中取得优异结果。
PDF7 months ago
GRILL: 基于文本和图像区域对齐的视觉 - 语言预训练
本文介绍了一种名为 GRILL 的 VL 模型，能够通过利用物体 - 文本对齐来学习对象对齐与定位，从而在零个或很少的训练实例下，推广到各种零 / 几 - shot 任务，包括视觉问答、字幕和定位任务。评估表明，GRILL 模型 consi
PDFa year ago
使用场景图进行增量式目标定位
本文介绍了一种基于场景图和语言结构的递增式 grounding 模型 (IGSG)，通过使用场景图中的对象之间的关系，构造问答对话方式以消除人类命令的歧义和错误，该模型在现实场景中表现出可接受的性能，可以有效地通过回问式问答消除歧义的问题。
PDF3 years ago
以对象为中心的视觉推理诊断
该研究旨在通过评估不同模型在视觉推理方面的表现来回答视觉问答模型是否在进行视觉推理，为此，研究使用了 GQA 数据集中提供的目标细粒度标注，提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场
PDF4 years ago
自然语言机器人指令跟随的小样本物体定位与映射
该研究探讨了如何通过学习一个机器人策略来遵循自然语言指令，从而轻松地将其扩展以推理新对象，并介绍了一个基于数据增强的少量学习语言条件对象基础方法，以识别对象并将其与指令中的对象匹配。然后，将其整合到遵循指令的策略中，从而使其能够通过添加样例
PDF4 years ago