language-guided | BriefGPT - AI 论文速递

关键词language-guided

搜索结果 - 9

2024 年 CVPR PVUW Workshop MeViS 赛道第二名方案：基于运动表情引导的视频分割
基于 RVOS 方法，我们利用从视频实例分割模型获取的掩膜信息作为临时信息进行时间增强，并采用 SAM 进行空间细化，最终在验证阶段取得了 49.92 J &F 的得分，在测试阶段取得了 54.20 J &F 的得分，在 2024 CVPR
PDF14 days ago
LanDA: 语言引导的多源域自适应
使用多模态模型和联合图像与语言嵌入空间，我们提出了一种基于最优传递理论的新型语言引导多源域适应（LanDA）方法，可以通过目标域的文本描述进行域适应，而无需任何目标域图像，并且在目标和源域都优于标准微调和集成方法。
PDF5 months ago
LMDrive: 大型语言模型的闭环端到端驾驶
本文介绍了 LMDrive，一种语言引导的、端到端的、闭环自动驾驶框架，它独特地处理和整合多模态传感器数据和自然语言指令，实现了与人类和导航软件在真实教学环境中的交互。为了促进基于语言的闭环自动驾驶的进一步研究，我们还公开发布了包含约 64
PDF7 months ago
LANCE: 通过生成语言引导的对抗性图像进行视觉模型的压力测试
提出一种用于自动化模型应力测试的算法 —— 生成基于语言引导的反事实测试图像（LANCE）。利用大型语言模型和基于文本的图像编辑的最新进展，我们可以增加 IID 测试集的多样性和挑战性，而不会改变模型权重。我们基于生成的数据对一系列不同的预
PDFa year ago
面向语言引导的交互式 3D 生成：LLMs 作为布局解释器与生成反馈
该研究提出了一种基于大型语言模型（LLMs）的 LI3D 系统，它集成了 LLMs 作为 3D 布局解释器到现有的布局生成模型中，使用户能够灵活且交互式地生成 3D 场景并且验证其有效性和性能。
PDFa year ago
EMNLP具身 BERT：一种用于具身、语言引导的视觉任务完成的 Transformer 模型
EmBERT 是一种基于 transformer 的模型，具有语言指导的目的完成能力。它是第一个能够成功处理 ALFRED 的历史记录、多模态的长时间跨度的 transformer 模型，同时也是第一个在 ALFRED 中使用对象导航目标的
PDF3 years ago
CLIP-It！基于语言指导的视频摘要
CLIP-It 是一种单一框架用于通用和基于查询的视频摘要，使用语言指导的多模式变压器来学习评分视频中的帧，并可以扩展到无监督环境。在标准的视频摘要数据集和基于查询的视频摘要数据集上均表现出显著的优异性能。
PDF3 years ago
ACLGraghVQA: 基于语言引导的图神经网络用于基于图像的视觉问答
本研究提出了一种基于场景图的自然语言问答模型 GraphVQA，该模型采用语言引导的图神经网络，并使用节点间的多次信息传递来翻译和执行自然语言问题。我们探讨了 GraphVQA 框架的设计空间，并讨论了不同设计选择的权衡。在 GQA 数据集
PDF3 years ago
ICCV指代表达理解的动态图注意力
本文探讨了语言驱动的视觉推理的问题，提出了一种动态图注意力网络来执行多步推理，并针对复杂的语言表达能力生成可解释的视觉证据。实验结果表明，所提出的方法不仅可以显着超过三个常见基准数据集上的所有现有最新算法，而且还能生成可解释的视觉证据来
PDF5 years ago