Apr, 2023

用于机器人高效学习的空间 - 语言关注策略

PDF
TL;DR研究使用 Transformer 建立和训练机器人决策的空间表示，提出 Spatial Language Attention Policies (SLAP) 方法，使用三维标记作为输入表示进行训练，能够快速训练或微调机器人感知动作策略，并在真实环境中实现 80% 的成功率。
robottransformersspatial language attention policiesmulti-taskaction prediction
发现论文，激发创造
  • Space - 语言模型用于 3D 视觉基础

    提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

    Jul, 2021

  • 面向机器人操作的指导驱动历史感知策略

    本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

    Sep, 2022

  • 移动机器人操作的空间动作地图

    本文研究机器人导航中的动作表示，提出了 “空间动作地图” 概念，使用卷积神经网络从状态图像推断出空间动作地图，从而显著加快了使用强化学习方法实现移动操作任务的复杂行为的学习

    Apr, 2020

  • 对比语言、动作和状态预训练用于机器人学习

    本文介绍了一种名为 Contrastive Language, Action, and State Pre-training (CLASP) 的方法，采用分布式输出使文本命令和行为单元之间的对齐变得更加准确，从而帮助了解决机器人学习中的相关问题。该模型在对未知数据集进行检索和图像描述生成等任务中表现出了优秀的性能。

    Apr, 2023

  • CLIPort: 机器人操控的何时和何地路径

    通过结合视觉操作中的语义理解与空间精度，使用基于语言的模仿学习代理 CLIPort，可在训练过程中不需要显式地表示对象姿态、实例分割、内存、符号状态或句法结构的情况下，有效地解决各种语言规定的桌面任务，具有数据效率和泛化能力。

    Sep, 2021

  • 表示学习与强化学习的混合在动态复杂机器人运动规划中的应用

    混合算法 LSTM 池化和跳跃连接的注意力型离散软演员评论家 (LSA-DSAC) 用于机器人运动规划，取代了基于图的算法并改善了收敛速度。实验证明 LSA-DSAC 在训练和评估中优于最先进的方法，并在实际世界中实施和测试了物理机器人。

    Sep, 2023

  • 面向高层自然语言指令执行的持久性空间语义表示

    该研究介绍了一种基于持久化空间语义表达的方法，旨在通过实现分层推理，实现机器人代理人执行自然语言指定的长期任务，获得了 ALFRED 测试中最先进的表现。

    Jul, 2021

  • 利用弱标记图像推广基于视觉的机器人技能

    研究了机器人感知运动控制策略的广义学习问题，提出了一种称为 GPLAC 的方法来提高机器人策略的泛化能力，结合多任务学习和辅助二进制分类目标，通过卷积神经网络和注意力机制，将交互数据与弱标记的数据集相结合，大大提高了对未知环境的泛化能力。

    Aug, 2017

  • 部分可见城市环境中物体搜索的空间语言理解

    提出了 SLOOP 概念，通过使用概率观测模型解决了空间语言的主观性和潜在的模糊性问题，利用在线 POMDP 计划器和 Monte Carlo Tree Search 策略，应用于城市规模环境中的目标搜寻任务，评估表明与基准相比，该方法具有更快的搜寻和更高的成功率，并在 AirSim 中演示了其有效性。

    Dec, 2020

  • CARTIER：面向机器人指令执行的地图语言推理

    该研究通过大型语言模型（LLMs）探索了空间规划和自然语言界面与导航的交叉问题。我们关注的是遵循与传统机器人指令不同、更类似于自然对话的相对复杂的指令。与先前的大多数工作不同的是，我们研究了对话交互中的隐式指令。通过利用 3D 模拟器 AI2Thor 在规模上创建复杂且可重复的场景，并通过为 40 种对象类型增加复杂的语言查询来扩充它。我们证明了通过使用 LLM 将用户交互解释为场景中对象列表的上下文，机器人能够更好地解析描述性语言查询。

    Jul, 2023