Sep, 2016

基于深度强化学习的室内场景目标驱动视觉导航

PDF
TL;DR本研究解决深度强化学习的一些问题，如模型推理泛化能力差和数据效率低。提出一种策略演员 - 评论家模型，以目标以及当前状态为函数，并在 AI2-THOR 框架下应用模型以与物体交互，实现在 3D 场景中进行大量样本高效收集，易于应用到现实场景并无需进行特征匹配。
deep reinforcement learninggeneralization capabilitydata inefficiencyactor-critic modelai2-thor framework
发现论文，激发创造
  • 基于 Transformer 的目标导向强化学习在自主导航中的应用

    通过使用新型的 Goal-guided Transformer-enabled reinforcement learning 方法，将目标状态作为场景编码器的输入来引导场景表示与目标信息相耦合，从而有效实现自主导航。该方法具有比其他现有基线更高的数据效率、性能、鲁棒性和从仿真到真实世界的泛化能力。

    Jan, 2023

  • TDANet：面向目标导向的注意力网络在具备零样本能力的目标 - 目标视觉导航中的应用

    提出了一种目标导向的注意网络（TDANet），用于学习具有零 - shot 能力的端到端目标导向视觉导航策略，并通过在 AI2-THOR 环境中进行的大量实验验证了 TDANet 的导航性能，其在未见过的场景和目标对象上表现出较高的导航成功率和成功率加权长度，优于其他最先进的模型。

    Apr, 2024

  • 使用数据正则化 Q-Learning 进行目标导航

    该研究使用深度强化学习方法，通过增量构建语义地图和选择长期目标来实现目标导航，并通过数据增强和 Q 函数正则化等方法明显提高了模型性能。

    Aug, 2022

  • 面向基于视觉的深度强化学习的机器人运动控制

    本文介绍了一种基于机器学习的系统，用于仅基于视觉感知控制机器人操作器。首次展示了只从原始像素图像学习机器人控制器的能力，而不需要对配置有任何先前知识。我们建立在最近深度强化学习的成功基础之上，并开发出一种利用外部视觉观察学习三关节机器人操作器目标到达的系统。经过在仿真中的训练后，Deep Q 网络（DQN）被证明能够执行目标到达。将网络转移到真实硬件和真实观察的朴素方法失败了，但实验证明在用合成图像代替相机图像时，网络可以正常工作。

    Nov, 2015

  • 视觉先见：基于模型的深度强化学习在基于视觉的机器人控制中的应用

    本文提出了一种实用于实际机器人任务 -- 如机器人操作 -- 的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

    Dec, 2018

  • 通过深度强化学习和专家演示实现的视觉追踪

    通过应用强化学习的最新趋势并借鉴专家代理的演示，提出了两种新型跟踪器：A3CT 和 A3CTD，均利用现有的跟踪器进行有效的跟踪，并在多个基准测试中取得了最新的成果。

    Sep, 2019

  • 图像目标导航的变形金刚

    利用生成式 Transformer 模型，通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作，从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。

    May, 2024

  • 基于记忆增强的强化学习在图像目标导航中的应用

    该研究提出了一种基于记忆增强的注意力机制模型，利用序列记忆学习图像目标导航，模型表现优异，创造了新的最优结果。与相关工作不同的是，仅使用 RGB 图像输入，无需姿态 / 深度传感器等额外信息。

    Jan, 2021

  • 无需地图或指南针的学习：全景目标驱动视觉导航

    本文提出了一种机器人导航系统，采用模仿学习框架在复杂环境下成功导航，使用 RGB 和深度 (RGBD) 信息，可以应对大型环境和多个房间及未知目标的导航，相较于多个基准测试具有更好的性能。

    Sep, 2019

  • 学习在复杂环境中导航

    利用增强学习问题和多模态感应输入的辅助深度预测和循环闭环分类任务，可以学习从复杂 3D 迷宫中进行导航并接近人类级别表现

    Nov, 2016