vision-and-language navigation | BriefGPT

关键词vision-and-language navigation

搜索结果 - 97

未知之地：生成新环境的地理描述
通过构建基于地理空间数据的知识图谱，利用上下文无关文法（CFG）和大型语言模型 (LLM) 生成导航指令，本研究提出了一种用于生成高质量合成数据的大规模增强方法，以解决新环境下训练数据不足的问题。结果显示，通过 CFG 增强训练的模型在未知
PDF6 days ago
人类感知视觉 - 语言导航：通过动态人类交互缩小模拟与现实之间的鸿沟
Vision-and-Language Navigation involves developing embodied agents that navigate based on human instructions. This paper
PDF7 days ago
MAGIC：元能力引导下的有效高效视觉语言导航链式蒸馏
这篇论文介绍了使用知识蒸馏来获得轻量级学生模型的巨大潜力，其中提出了一种元能力引导的交互式蒸馏链（MAGIC）方法，该方法可帮助将大型模型集成到机器人技术中，该方法在视听导航任务中超越了现有的先前方法，同时提出了一种新的数据集，展示了 MA
PDF9 days ago
CityNav: 具备地理信息的语言目标空中导航数据集
通过真实世界的城市的三维点云表示，CityNav 数据集提供了 32,637 个自然语言描述与人类演示轨迹的配对，作为语言目标的航空导航的新数据集。该数据集揭示了以下关键发现：（一）在航空代理模型上，基于人类演示轨迹的训练优于最短路径轨迹的
PDF14 days ago
基于 3D 特征场的视觉语言导航的模拟转现实迁移
通过模拟传递技术，赋予单目机器人全景遍历感知和全景语义理解，从而将高性能全景视觉 - 语言导航模型顺利应用于常见单目机器人，有效提高了机器人在实际环境中的导航性能。
PDF20 days ago
IJCAI为什么只用文本：用多模态提示增强视觉与语言导航
Vision-and-Language Navigation with Multi-modal Prompts (VLN-MP) integrates natural language and images in instructions,
PDFa month ago
增强型常识知识用于远程物体定位
通过引入增强型常识知识模型 (ACK)，利用常识信息的时空知识图，增强代理导航，通过知识图感知跨模态和概念聚合模块来提升可视化表示和可视化文本数据对齐，同时引入基于常识的决策过程，实现更准确的本地动作预测。
PDFa month ago
视觉 - 语言导航生成预训练 Transformer
在 Vision-and-Language Navigation (VLN) 领域中，我们提出了一种基于 Transformer 的生成预训练模型（VLN-GPT），通过建模轨迹序列依赖关系来增强效率，并在训练过程中采用离线预训练和在线优化
PDFa month ago
MC-GPT: 通过记忆地图和推理链增强视觉与语言导航能力
在视觉语言导航（VLN）任务中，代理器需要按照自然语言指令导航到目的地。本文提出了一套方法来解决现有大型语言模型在构建记忆和导航策略多样性方面面临的问题，通过维护一个包含导航历史、视点、物体及它们的空间关系的拓扑地图来增强导航能力，并通过引
PDF2 months ago
通过因果学习的视觉语言导航
通过基于因果推断范式的通用交叉模态因果变换器（GOAT）解决视觉语言导航（VLN）代理程序在未知环境中性能受限的数据集偏差问题，提出通过背门调整和前门调整因果学习模块来全面减轻潜在的伪相关性并提升无偏学习，同时通过对比学习监督的交叉模态特征
PDF3 months ago
AIGeN：视觉定位导航中的指令生成的对抗性方法
通过使用生成对抗网络（GANs）的启示，提出了 AIGeN，一种新颖的架构，用于生成有意义且形式良好的合成指令，从而改善导航代理的性能，该模型由 Transformer 解码器（GPT-2）和 Transformer 编码器（BERT）组成
PDF3 months ago
COLINGDELAN: 视觉与语言导航的双层对齐：跨模态对比学习
通过交叉模态对比学习，我们提出了一个名为 Dual-levEL AligNment (DELAN) 的框架，用于在融合之前对齐各种与导航相关的模态，从而增强交叉模态交互和决策制定。我们的方法与现有模型无缝集成，显著提高了各种 Vision-
PDF3 months ago
CVPR连续的视觉语言导航中的前瞻探索及神经辐射表示
利用预训练的分层神经辐射表示模型产生多层次语义特征，用于预测未来环境，提出前瞻导航模型以构建可导航的未来路径树并通过有效的并行评估选择最佳路径。
PDF3 months ago
IVLMap: 消费级机器人导航的实例感知视觉语言定位
通过构建语义空间地图和使用大型语言模型的强大推理能力，我们提出了一种新的方法 IVLMap，使机器人能够获得实例级和属性级的语义映射，从而实现了精确定位和零 - shot 端到端导航任务的能力，并在导航准确性上实现了 14.4% 的平均改进
PDF3 months ago
离线强化学习在视觉和语言导航中的扩展
通过使用次优示范数据进行视觉语言导航 (VLN) 的离线强化学习 (ORL) 研究，引入了一种简单且有效的奖励条件方法来训练 VLN 代理，并在该领域推动研究进展和评估。实验证明，即使在复杂和复杂的环境中，所提出的奖励条件方法也能显著提高性
PDF3 months ago
面向视觉与语言导航的时空物体关系建模
利用交叉注意机制，通过对象关系提高代理导航能力，并引入回转惩罚损失函数以解决代理的重复位置访问问题。
PDF3 months ago
持续视觉与语言导航
以连续学习为基础，提出了视觉语言导航的连续学习范式，通过重新组织已有的导航数据集，提出了 CVLN-I 和 CVLN-D 两个用于训练和评估 CVLN 代理的数据集，进一步提出了 Perplexity Replay (PerpR) 和 Ep
PDF3 months ago
基于层次空间接近原理的视觉语言导航
该论文提出了一种基于 Hierarchical Spatial Proximity Reasoning（HSPR）模型的视觉语言导航算法，通过引入 Scene Understanding Auxiliary Task（SUAT）来构建空间接
PDF4 months ago
注意错误！视觉与语言导航中的指示错误检测和定位
在连续环境中的视觉与语言导航 (VLN-CE) 是一项直观但具有挑战性的 AI 任务，我们提出了一个新颖的基准数据集，引入了各种类型的指令错误并考虑了潜在的人为原因，从而为连续环境中的 VLN 系统的鲁棒性提供了宝贵的见解。我们还正式定义了
PDF4 months ago
NavCoT: 基于学习的解耦推理，提升基于 LLM 的视觉与语言导航
通过构建导航思维链（NavCoT）进行领域内训练的新策略，提高了基于大型语言模型（LLM）的自主导航决策性能以减少领域差距。NavCoT 相对于直接行动预测的变体在各种训练设置和流行的视听导航基准上表现明显优越，并通过简单的参数微调在 R2
PDF4 months ago