vision-and-language navigation | BriefGPT

关键词vision-and-language navigation

搜索结果 - 97

通过感知扰动的对比学习实现偏差鲁棒智能体导航
该论文提出了一种模型无关的训练方法 PROPER，通过要求其学习鲁棒性导航来增强现有 VLN 代理的泛化能力，以应对可能的各种干扰情况，如突然出现的障碍物或人为干扰，以改进导航鲁棒性。
PDF4 months ago
基于因果关系的跨模态表示学习在视觉和语言导航中的应用
提出了一种基于因果学习范式的统一框架 CausalVLN，通过建立关于视觉和语言的结构因果模型 (SCM) 的合理假设，并引入视觉和语言门路因果编码器，在训练和验证期间实现无偏特征表达，增强了智能体在不同环境中的泛化能力，并在三个 VLN
PDF4 months ago
基于视频的 VLM 为视觉与语言导航规划下一步
NaVid 是一个基于视频的大型视觉语言模型，通过动态的视频流输入，无需地图、测距仪和深度信息，实现了最先进水平的导航性能，解决了里程计噪声和模拟环境到真实环境之间的缺陷，同时有效地利用机器人的历史观察作为决策和指令遵循的时空背景，通过对
PDF4 months ago
MapGPT: 地图引导的视觉与语言导航
本文提出了一种新型的地图引导 GPT-based 路径规划代理模型 (MapGPT)，用于零 - shot 视觉语言导航任务，通过在线构建拓扑地图转换为提示来引导全局探索，要求代理模型明确输出和更新多步路径规划以避免陷入局部探索，并在 R2
PDF6 months ago
AAAIWebVLN：基于视觉和语言的网站导航
该研究提出了一项名为 WebVLN 的新任务，利用问答形式的指令训练代理程序，模拟用户在网页上浏览的过程。与现有的 Vision-and-Language Navigation 任务相比，WebVLN 代理程序进一步考虑 HTML 等网页特
PDF6 months ago
右边” 在哪儿？：揭示视觉语言导航模型的限制
通过一系列的简单遮盖实验，揭示了某些高性能模型仅依赖于指令的名词标记，并提出了两种训练方法来缓解这个问题。
PDF7 months ago
VLN 预训练在无意义或不相关指令下是否有效？
通过回译进行数据增强在预训练视觉与语言导航（VLN）模型中很常见，即使生成的指令存在噪声。我们发现，在预训练过程中产生的无意义或不相关的语言指令对于 HAMT 和 VLN-BERT 在 R2R 上的后续性能影响很小，仍然比仅使用干净、人工数
PDF7 months ago
测试时自适应视觉与语言导航
通过快慢测试时适应（FSTTA）方法，解决视觉语言导航（VLN）模型的适应性与稳定性困境，实现模型的快速自适应和稳定回归，获得卓越的性能提升。
PDF7 months ago
基于在线视觉语言映射的真实世界视觉语言导航
在本文中，我们提出了一个在真实世界中解决 VLN 任务的新型导航框架，该框架利用强大的基础模型，并包括四个关键组成部分：(1) 将语言指令转换为预定义的宏操作描述的 LLMs-based 指令解析器，(2) 构建实时的视觉 - 语言地图以保
PDF9 months ago
LangNav: 语言作为导航的知觉表示
以语言作为感知表示来进行视觉和语言导航，探索了离线的视觉系统，将各个时间步骤的视角转换为自然语言描述，并微调预训练的语言模型来选择能够最好地满足导航指令的行动，以语言作为感知表示在导航任务中具有潜力。
PDF9 months ago
评估视觉与语言导航的解释方法
利用深度神经模型进行自然语言指令导航机器人在未知环境中是实现具体化人工智能的关键步骤。本文通过建立定量基准来评估对视觉语言导航模型进行解释的方法，并提出了一种新的基于擦除的评估流程，以测量顺序决策环境中的逐步文本解释。通过实验证实了两个代表
PDF9 months ago
ICCV基于地点实体的自适应预训练技术用于视觉与语言导航
我们提出了一种新颖的基于实体 - 地标适应的预训练模型 (GELA)，用于实现细粒度的视听导航中不同模态信号的对齐。采用三个适应性预训练目标：实体短语预测，地标边界框预测和实体 - 地标语义一致性，该模型在两个任务中实现了最先进的结果，证明
PDF10 months ago
ICCVVLN-PETL：用于视觉语言导航的参数高效迁移学习
我们在第一次研究中探索了用于 VLN 任务的 PETL 方法，并提出了一种名为 VLN-PETL 的 VLN 特定 PETL 方法。该方法通过设计两个 PETL 模块：历史交互增强器（HIB）和跨模态交互增强器（CIB），并将其与几种现有
PDFa year ago
ICCV聊天中的三月：用于远程身体引用表达的交互提示
这篇论文提出了一种名为 March-in-Chat (MiC) 的模型，可以与大型语言模型进行交互，并基于一种新提出的会考虑房间和物体的感知模型（ROASP）进行动态规划，为 REVERIE 基准测试中的 SPL 和 RGSPL 指标提供了
PDFa year ago
ICCV无人机视觉与语言导航：AerialVLN
提出了一项名为 AerialVLN 的新任务，基于无人机（UAV）的、面向室外环境的导航，在提出的 3D 模拟器中使用高度逼真的城市景观照片进行连续导航并进行环境扩展和配置，基于跨模态对齐（CMA）导航方法的扩展基线模型，发现基线模型与人类
PDFa year ago
注意间隔：通过重新审视 Oracle 成功路线来提高视觉语言导航的成功率
Vision-and-Language Navigation aims to narrow the gap between Success Rate and Oracle Success Rate by mining the target
PDFa year ago
Kefa：基于知识增强和细粒度对齐技术的导航指令生成说话人
我们引入了一种新颖的导航指令生成的说话者模型 Kefa。我们的模型通过知识细化模块来增强特征表示，并通过自适应时间对齐方法来确保生成的指令与观测序列的细粒度对齐。此外，我们提出了一种新的导航指令评估度量 SPICE-D，该度量关注方向短语的
PDFa year ago
GridMM：视觉语言导航的网格存储映射
通过构建自上而下的自我中心网格记忆地图 (GridMM) 来结构化所访问的环境，并提出了一种指令关联聚合方法来捕捉每个网格区域的细粒度视觉线索，实验证明该方法的优越性。
PDFa year ago
ICCV从 YouTube 视频中学习视觉与语言导航
通过利用大规模的房屋导览视频数据集，本文提出了一种视觉语言导航方法，使用自动构建的路径指令对训练的代理进行预训练，并利用视频中的布局信息来提高导航的泛化性能。通过实验结果表明，该方法在两个流行的基准测试（R2R 和 REVERIE）上取得了
PDFa year ago
CVPR视觉语言导航智能体的行为分析
为了成功，视觉语言导航（VLN）代理人必须能够根据周围环境将指令与行动联系起来。本研究开发了一种研究基于技能的代理人行为的方法，检查现有代理人在停止、转向和移动向指定对象或房间方面如何准确地进行指令的实施。我们的方法基于生成针对不同技能的干
PDFa year ago