本文提出Reinforced Cross-Modal Matching和Self-Supervised Imitation Learning两个方法来解决语视导航中的跨模态匹配、学习反馈以及泛化问题，并通过实验证明这两种方法较之前的方法显著提高了成功率和准确度。

Nov, 2018

本文提出了一种基于自监督学习的模块化方法，该方法将传统的几何规划与学习空间场景表示相结合，以实现对动态对象和语义约束进行自主探索和导航。在基于 VizDoom 的仿真环境中得到了验证。

Jan, 2020

研究了强化学习领域的领域自适应问题，提出了一种基于功能相似性的在线原型对齐框架(OPA)，该框架能够在少数几周期内实现策略转移，即使从目标域获得的样本数量很少，也能表现出更好的转移性能。

Jun, 2023

我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了47％的SR和41％的SPL的最新最佳结果。

Jul, 2023

使用学习方法的视觉对象导航是移动机器人的关键任务之一，本文介绍了一种在与室内环境进行混合体互动过程中形成的场景语义地图的新表示方法，该方法基于神经网络通过反向或正向图像序列上的预测融合损失值的反向传播来调整分割模型的权重。我们将此表示方法实现到一种名为 SkillTron 的完整导航方法中，该方法可以根据强化学习和基于地图的经典规划方法从端到端策略中选择机器人技能。所提出的方法能够为机器人探索制定中间目标和对象导航制定最终目标，我们在Habitat环境中对所提出的方法进行了大量实验，在导航质量指标方面表现出明显的优势，与现有技术方法相比。所开发的代码和使用的自定义数据集可以在 github.com/AIRI-Institute/skill-fusion 上公开获取。

Nov, 2023

通过多模态环境记忆模块，我们提出了多模态交互式智能体（MEIA），能够将自然语言表达的高级任务转化为可执行动作序列，从而实现了大型模型与具有体现性控制的集成，实验结果展示了MEIA在各种交互任务中的良好表现。

Feb, 2024

通过对现有跨域策略转移方法进行系统审查，我们对每个问题设置的总体见解和设计考虑进行了细致的分类，并对跨域策略转移问题中使用的关键方法进行了高层次讨论。最后，我们总结了当前范式能力之外的开放挑战，并讨论了该领域可能的未来发展方向。

Feb, 2024

通过训练一个基于认知科学的'全局工作空间'，我们探索了这样一个受大脑启发的多模态表示是否有助于增强强化学习代理的泛化能力及跨模态转移，在两个不同环境和任务中实验结果表明，该模型能够进行零-shot跨模态转移，在图像和属性向量之间进行泛化。

Mar, 2024

MoDeC是一种时间约束感知的具体任务优化的模块化深度学习模型适应框架，评估结果表明其在机器人操控和自主驾驶应用中表现出色，优于其他模型适应方法并且能够遵守时间约束。

Jun, 2024

我们提出了一种新颖的、可定制的噪声数据合成管道，旨在评估多模态SLAM模型对各种干扰的弹性，通过使用所提供的工具箱，将清洁环境转化为具有挑战性的噪声模拟。使用该管道，我们构建了大规模Noisy-Replica基准，并评估现有高级RGB-D SLAM模型对多种干扰类型的风险容忍度。

Jun, 2024