Oct, 2023

不变性是泛化的关键：探究表征在视觉导航的从模拟到实际转移中的作用

PDF
TL;DR数据驱动方法在机器人控制领域迅速发展，然而对未知任务领域的泛化仍然是一个关键挑战。我们认为泛化的关键在于具备足够丰富的表示以捕捉所有任务相关信息，并且对于训练与测试领域之间的无关变异具有不变性。我们实验研究了这样一种富含深度和语义信息的表示，用于视觉导航，并证明它使得完全在模拟室内场景中训练的控制策略能够泛化到多样的现实环境，包括室内和室外。此外，我们还展示了我们的表示减小了训练和测试领域之间的 A - 距离，从而改善了泛化误差的上界。我们提出的方法是可扩展的：随着基础模型在预训练期间吸收更多多样数据，学习策略会持续改进。
data-driven approachrobot controlgeneralizationrepresentationsvisual navigation
发现论文，激发创造
  • 通过任务蒸馏进行领域适应

    使用图像识别数据集作为源域和目标域之间的桥梁，通过任务蒸馏框架，在不同仿真器之间成功地传输导航策略，并在传统领域适应基准上展现出有前途的结果。

    Aug, 2020

  • 强健不变表示中的领域通用性

    本文研究对象识别中不变表示的泛化性，经过广泛实验，我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性，因此使不变性成为有限资源环境中训练的理想属性。

    Apr, 2023

  • 表征至关重要：提高机器人感知和探索能力

    本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法，并从三个方面对每种表现方法进行评估，即维度，可观测性和分离度，发现在输入代理或作为辅助任务的情况下，可以显著提高性能，并挑战了什么是控制机器人 ' 好' 表示的见解。

    Nov, 2020

  • 学习使辅助任务泛化的表示

    本文主要研究在 assistive tasks 中应用 sim2real 技术时的问题，并提出了一种解决方案 —— 通过学习一种好的 latent representation 来匹配 test-time humans 能够准确映射到的人类策略，并且在 test-time 进行 fine-tune，这样能够更好地结构化人类策略。

    Dec, 2022

  • Sim-Real 联合强化迁移学习在 3D 室内导航中的应用

    本文介绍了一种基于对抗特征调整模型的 3D 室内导航机器人训练方法，通过视觉特征的转换与行为策略的模仿来提高机器人在真实环境中的表现。实验证明该方法能够在不需要额外人工注释的情况下，比基线方法表现提高 19.47%。

    Apr, 2019

  • 大规模预训练视觉表示在模拟和真实环境中的研究：我们从中学到了什么？

    大规模实证研究表明预训练视觉表示（PVRs）的使用对训练执行现实任务的下游策略非常有用，尤其在操作和室内导航任务中表现出明显的性能优势。

    Oct, 2023

  • 面向语义目标驱动导航的视觉表征

    本研究主要探讨了如何在复杂环境下使用语义视觉导航技术，通过使用实时现成的高级语义和语境特征来训练深度神经网络的方式进行导航决策，并通过将现实和虚拟数据的特征表示结合起来提高模型的学习效果达到更高的导航性能。

    May, 2018

  • 预训练视觉表示对稳健操控的成功因素

    通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

    Nov, 2023

  • 认知自我：通过机器感知实现可迁移的视觉控制策略

    提出了一种基于模型的强化学习策略，通过训练可转移机器人感知的世界动力学模型和机器人特定的动力学模型，从而利用以前在其他机器人上收集的数据来减少对机器人特定数据的需求，并在模拟和实际机器人上实现了视觉控制任务上的零泛化

    Jul, 2021

  • 利用弱配对约束调整深度视觉运动表示

    提出了一种新颖的领域适应方法，将在大型易于获得的源数据集 (例如，合成图像) 上学习的视觉表示适应到目标实际世界领域，不需要昂贵的手工数据注释。作者使用弱对齐图像，结合分布对齐的方式来解决实际和模拟环境差异的问题，并在机器人操作任务上对其进行了评估。

    Nov, 2015