Jun, 2023

ViNT: 视觉导航的基础模型

PDF
TL;DR本文介绍了使用 ViNT 作为基础模型来解决基于视觉的机器人导航问题，并通过灵活的 Transformer 架构提高了 ViNT 在不同任务中的适应性和迁移性能，同时允许其与由 GPS 路径或路线指令等嵌入式任务模式进行编码的目标编码器进行相互替换。
pre-trained modelsvision-based robotic navigationtransformer-based architecturepositive transferprompt-tuning
发现论文，激发创造
  • 基于自监督预训练 Vision Transformer 的单目机器人导航

    使用自监督方法预训练的 Vision Transformer，成功地在使用 70 个训练图像的 Duckietown 环境中训练了一个粗略的图像分割模型，其推理分辨率可以调整以平衡预测粒度和实时感知约束，并用作简单而强大的视觉伺服代理的骨干，用于差分驱动移动机器人的车道跟踪和障碍物回避两个任务。

    Mar, 2022

  • OVRL-V2: ImageNav 和 ObjectNav 的简单基准线

    我们提出了一个通用的神经网络架构，该架构由任务无关的组件组成，实现了在 ImageNav 和 ObjectNav 任务上的最新成果，而无需任何任务特定的模块，我们的模型是基于最近的自监督学习（SSL）和视觉变压器（ViT）的预训练模型构建，在 ViT 修补表示上操作一个压缩层以保留空间信息，并改进策略训练，这些改进使我们能够首次在视觉导航任务中展现了正向编放律。

    Mar, 2023

  • VTNet: 面向对象导航的视觉 Transformer 网络

    本文介绍了一种使用视觉转换网络技术的目标导航方法，该方法有效利用场景中各个物体之间的关系和空间位置，以实现方向导航，并通过预训练方案将视觉表示与导航信号进行关联，进一步提高了导航策略的学习效果。实验结果表明，这种方法在 AI2-Thor 等人工环境中的表现优于其他先进的目标导航方法。

    May, 2021

  • 视觉 - 语言导航生成预训练 Transformer

    在 Vision-and-Language Navigation (VLN) 领域中，我们提出了一种基于 Transformer 的生成预训练模型（VLN-GPT），通过建模轨迹序列依赖关系来增强效率，并在训练过程中采用离线预训练和在线优化的方法，性能评估表明 VLN-GPT 超越了复杂的基于编码器的模型。

    May, 2024

  • ViNG: 使用视觉目标学习开放世界导航

    提出了一个基于学习的导航系统，该系统应用于实际移动机器人平台，旨在使机器人通过学习来了解环境和导航便利性，以便在视觉引导下实现目标点的导航，经过实地测试和应用，该系统的表现优于其他以强化学习和搜索为基础的方法。

    Dec, 2020

  • 通过预训练实现通用的视觉语言导航智能体学习

    本文提出了第一个预训练和微调范式，用于视觉语言导航 (VLN) 任务。通过自监督学习方式训练大量的图像 - 文本 - 动作三元组，预训练模型提供通用的视觉环境和语言指令表示，可以轻松地用于现有的 VLN 框架。通过在三个 VLN 任务上验证性能可行性，验证了该方法的有效性和推广性。

    Feb, 2020

  • 无需训练的 NAS 遇上 Vision Transformer：神经切线核视角

    本论文探讨了神经切线核（NTK）在没有训练的情况下搜索视觉变换器。通过与先前观察到的基于 NTK 的指标在初始化时能有效预测 CNN 的性能相比较，我们通过实证表明它们在 ViT 搜索空间中的无效性。我们假设 ViT 中的基本特征学习偏好导致将 NTK 应用于 ViT 的 NAS 的无效性。我们从理论和实证角度验证了 NTK 基本上是估计学习低频信号的神经网络的能力，完全忽略了特征学习中高频信号的影响。为了解决这个局限性，我们提出了一种名为 ViNTK 的新方法，通过将傅里叶特征从输入中整合到高频域中，将标准 NTK 推广到高频领域。在图像分类和语义分割任务的多个 ViT 搜索空间上的实验表明，我们的方法可以在维持类似的性能的同时显著加快 ViT 的搜索成本。

    Mar, 2024

  • VANP：自我监督视觉行动预训练导航中的视觉焦点学习

    提出了一种自我监督视觉行为模型（VANP）用于视觉导航的预训练，通过最大化嵌入之间的信息来学习与导航任务相关的特定视觉区域，实现了与完全监督模型相媲美的性能，同时减少了一半的训练时间和仅使用 0.08% 的 ImageNet 数据进行训练。

    Mar, 2024

  • 图像目标导航的变形金刚

    利用生成式 Transformer 模型，通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作，从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。

    May, 2024

  • 深度基础潜空间内的无监督领域自适应

    这篇研究论文分析了基于视觉 Transformer 的基础模型（如 ViT 或 Dino-V2）在无需精调特征的情况下解决问题的能力，通过对原型网络设置的实验，定量分析以及对决策过程的定性解释，我们展示了所提出的方法在无监督领域适应中的应用，并改进了现有基准模型，同时也揭示了该方法尚待解决的限制。

    Feb, 2024