Apr, 2024

服务机器人的现实世界实例特定图像目标导航：用对比学习缩小领域差距

PDF
TL;DR提出了一种名为 Few-shot Cross-quality Instance-aware Adaptation（CrossIA）的新方法，该方法利用对比学习和图像增强技术来解决移动机器人在低质量图像和高质量查询图像之间的领域差距，从而提高实例特定图像目标导航的任务成功率。
发现论文，激发创造
  • 通过对应关系实现端到端（实例）- 图像目标导航的新发现现象

    通过使用预设任务和双编码器模型，本研究针对视觉导航中的视觉对应问题和目标检测进行了改进，取得了显著进展并在两个基准测试中达到了最佳性能。

    Sep, 2023

  • 导航至特定图像所指示的对象

    本研究介绍了一个可以在仿真和现实实现物体到达任务的系统，该系统采用模块化方法解决了探索、目标识别、目标定位和本地导航等子任务，无需任何微调，实现了较高的成功率，并在移动机器人平台上展示了有效的实际性能。

    Apr, 2023

  • 实例感知探索 - 验证 - 利用于实例图像目标导航

    在未知环境中，为了导航到目标图像中指定的对象，我们提出了一种人工智能导航框架 IEVE，它通过模拟人类的行为，在不同的情况下帮助代理人在探索、验证和利用行为之间进行积极切换，从而识别并导航至目标对象。在挑战性的 HabitatMatterport 3D semantic 数据集上，我们的方法优于现有的最先进方法，在经典分割模型（0.684 vs. 0.561 成功率）或强大模型（0.702 vs. 0.561 成功率）方面。

    Feb, 2024

  • 零样本物体导向视觉导航

    本文研究了零样本对象目标视觉导航任务，并提出了一种基于语义相似性网络的新型框架，用于在未训练过的类中引导机器人查找目标，通过在 AI2-THOR 平台上进行了广泛的实验，证明了我们模型的一般化能力强于基线模型。

    Jun, 2022

  • 语义分割的无监督对比域自适应

    通过对比学习实现特征对齐，提出了一种跨领域适应的标签扩展方法，结果表明，我们的方法在 Cityscapes 数据集上的表现始终优于最先进的方法。

    Apr, 2022

  • 零样本实例导航的优先语义学习

    我们提出了一种优先语义学习（PSL）方法，通过引入语义增强的 PSL 代理和优先语义训练策略来提高导航代理的语义理解能力，并设计了语义扩展推理方案以保持与训练相同的目标语义粒度级别。此外，针对流行的 HM3D 环境，我们提出了一个实例导航（InstanceNav）任务，需要根据详细描述前往特定的对象实例，与仅通过目标类别定义目标的对象导航（ObjectNav）任务不同。我们的 PSL 代理在零样本 ObjectNav 的成功率上超过了先前的最优结果 66％，并且在新的 InstanceNav 任务上也表现优越。代码将在此 https 网址上发布：science/r/PSL/。

    Mar, 2024

  • 深度学习实例抓取的多任务域自适应

    本文提出一种基于多任务领域适应的框架来解决机器人抓取的训练数据收集和标注的问题，借助仿真机器人实验来对杂乱场景下的抓取进行实例化，并通过领域对抗性损失将训练好的模型转移到真实机器人系统中，经过实际机器人实验的评估表明本文所提出的模型准确性比其他模型结构及基准模型都要高。

    Oct, 2017

  • 增强基于视觉的敏捷飞行中的稳健场景转换的对比学习

    本文提出一种自适应多对比学习策略，用于视觉表示学习，实现了零样本场景转换和真实世界的部署。实验证明，该方法在航空器视觉导航领域的性能超过了所有其他基线模型。

    Sep, 2023

  • 跨模态融合与知识传递的鲁棒导航

    通过跨模态融合方法和知识迁移框架，提出了一种改善移动机器人的泛化能力并实现从模拟到实际场景的导航技能转移的方法，通过教师 - 学生蒸馏架构，在理想环境中学习判别性表示和接近完美的策略，通过模仿教师的行为和表示，学生能够对来自多噪声模态输入的特征进行对齐，并减小变异对导航策略的影响，实验结果表明我们的方法在模拟和实际环境中全面超越了基准方法，并在不同工作条件下实现了稳健的导航性能。

    Sep, 2023

  • LIP-Loc: 跨模态定位的激光雷达图像预训练

    利用对比映射预训练（CLIP）方法在图像与 LiDAR 点云的交叉模态本地化任务中，首次应用批处理损失方法并展示了零样本转移，并在 KITTI 数据集上取得了超过当前最先进方法 22.4% 的准确性提升，而且无需复杂的网络架构。

    Dec, 2023