- 图像目标导航的变形金刚
利用生成式 Transformer 模型,通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作,从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。
- OpenBot-Fleet: 实际机器人的集体学习系统
OpenBot-Fleet 是一个开源的云机器人系统,利用智能手机感知、本地计算和通信,Google Firebase 进行安全的云存储和离线计算,以及强大且低成本的轮式机器人在真实环境中执行任务,并在云中学习导航策略,实验表明 OpenB - 昆虫启发机器人导航中的家庭向量方向的直接学习
通过学习飞行、视觉感知和卷积神经网络,我们提出了一种机器人导航方法,可以学习家向量的方向并成功地回家。
- 傅里叶增强的多模式 3D 小物体光学标记识别和穿刺手术导航定位方法
这篇论文提出了一种新的三维小物体医疗标记检测方法,通过识别小型单环的中心作为针穿入点,基于峰值变换增强技术为数据集进行增强,提取特征图的 ROI 生成掩模图,并通过 ROI 点云轮廓拟合的方式获取深度图中 ROI 的点云,最后通过 Tuke - 用于导航 ViZDoom “我的回家之路” 迷宫的紧急 Braitenberg 风格行为
通过使用简单的 Braitentberg 风格启发式方法以及深度强化学习架构,我们展示出在复杂的可视部分观测状态下可以实现对由细胞图构成的迷宫进行导航,而仅使用了 0.8%的状态空间。
- Dyna-LfLH:从学习到幻影中学习动态环境中的敏捷导航
本文提出了一种自我监督学习方法,用于安全学习地面机器人在密集和动态障碍物环境中导航的运动规划器。通过设计和学习新的潜在分布,并从中获取动态障碍物的样本,我们的动态学习方法在模拟和实际环境中得到了比基线方法高达 25% 的成功率。
- 自主超声导航的心脏超声模拟
通过模拟管道生成大量的超声图像,以供导航相关的网络训练使用,从而实现快速准确的患者特异性超声图像生成并展示该方法在网络导航相关任务中的可用性。
- 在真实环境中使用混合策略进行多目标导航
我们提出了一种混合导航方法,将多对象导航(Multi-ON)任务分解为两个不同的技能:(1)使用经典 SLAM 和符号规划器处理航路点导航,而(2)使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索,我们展示了该方法在 - 谐波移动操作
通过互补性的导航和操作,将机器人的环境感知与行为规划相结合,实现了在日常任务中的协调性行为,从而改善了现有技术。验证了该方法在模拟和真实环境中的有效性,并能够适应新颖的未知环境,无需额外调优。
- VLFM: 视觉语言前沿地图用于零样本语义导航
人类如何利用语义知识在陌生环境中导航并决定下一步探索的方式对于开发能够展现类似人类搜索行为的机器人来说至关重要。我们介绍了一种零样本导航方法,即视觉语言前沿地图(VLFM),其受人类推理的启发,并设计用于在新环境中驶向未见过语义对象。VLF - 理解路径规划解释
通过图像和文本解释,我们提出了关于机器人导航决策的理解性和简洁性的用户研究。
- 基于在线视觉语言映射的真实世界视觉语言导航
在本文中,我们提出了一个在真实世界中解决 VLN 任务的新型导航框架,该框架利用强大的基础模型,并包括四个关键组成部分:(1) 将语言指令转换为预定义的宏操作描述的 LLMs-based 指令解析器,(2) 构建实时的视觉 - 语言地图以保 - 大型语言模型下的导航:语义猜测作为计划启发式
通过利用语义知识作为搜索启发式的语言模型,我们的方法(Language Frontier Guide,LFG)可以在新颖的现实环境和模拟基准测试中优于无知探索和其他使用语言模型的方法。
- 联合优化的全局局部无人机视觉定位
我们提出了一种新颖的全局 - 本地视觉定位(GLVL)网络,通过结合大规模检索模块和细粒度匹配模块实现了无局限累积误差的实时精确定位,证实了我们方法在稀疏纹理特征的村庄场景下只有 2.39 米的 0.48 秒的定位误差。
- 探索和导航的目标屏蔽扩散策略
机器人学习在陌生环境中导航需要提供任务导向导航和任务无关探索的策略。本文介绍了如何训练一个统一的扩散策略来处理目标导向导航和目标无关探索,证明了该统一策略在导航到视觉指示目标时相比于其他方法具有更好的性能和更低的碰撞率。
- FGPrompt:用于图像目标导航的细粒度目标提示
通过 Fine-grained Goal Prompting (FGPrompt) 方法设计,本论文旨在解决学习导航到图像指定目标的困难问题,通过使用细粒度和高分辨率的特征图作为提示,以实现条件嵌入,从而改善图像目标导航的性能。
- 面向移动机器人导航的预训练遮蔽图像模型
利用基础视觉网络,预测环境结构模式,实现移动机器人的导航和探索。
- 高阶 DeepTrails:*Trails 的统一方法
分析人类行为在不同环境中具有优势,理解和描述人类行为有助于改进和优化基础设施和用户界面。本文通过使用一阶马尔可夫链捕捉行为的数学特征,提出使用自回归语言模型分析整个序列的方法,以建模高阶序列依赖,解决现有方法中丧失信息和局限性的问题,并在合 - 跨模态融合与知识传递的鲁棒导航
通过跨模态融合方法和知识迁移框架,提出了一种改善移动机器人的泛化能力并实现从模拟到实际场景的导航技能转移的方法,通过教师 - 学生蒸馏架构,在理想环境中学习判别性表示和接近完美的策略,通过模仿教师的行为和表示,学生能够对来自多噪声模态输入的 - 视觉预测作为避让的中层表示
该研究介绍了一种创新的可视化预测方法,通过引入直观的视觉线索,将动态物体的未来轨迹投影出来,以改善智能体的感知能力并实现预测性行动,验证了该方法在动态环境中的可行性和有效性。