Apr, 2023

对比语言、动作和状态预训练用于机器人学习

PDF
TL;DR本文介绍了一种名为 Contrastive Language, Action, and State Pre-training (CLASP) 的方法，采用分布式输出使文本命令和行为单元之间的对齐变得更加准确，从而帮助了解决机器人学习中的相关问题。该模型在对未知数据集进行检索和图像描述生成等任务中表现出了优秀的性能。
发现论文，激发创造
  • 基于语言的动作概念空间改进视频自监督学习

    使用自监督学习方法，对图像 CLIP 模型进行语言约束的调整，以适应视频领域，提高三个行动识别基准测试的零样本和线性探测性能。

    Jul, 2023

  • 事前学习与行动

    本研究使用随机视频预测学习了捕捉场景动态的潜在变量，同时尽量不受场景内容的影响，从而学习代理的行动空间；该方法在半监督学习下表现相当于现有的完全监督方法，在任务如行动条件视频预测和计划学习行动空间时，需要几个数量级更少的行动标签。

    Jun, 2018

  • 语言条件下的机器人模仿学习对非结构化数据的影响因素

    本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。

    Apr, 2022

  • LACMA：语言对齐的对比学习和元动作用于体现式指令跟踪

    通过对代理的隐藏状态与指令进行对比学习，以及引入元动作来缩小高级语言指令与代理低级行动空间之间的语义差距，该研究成功提高了代理在未知环境下的成功率。

    Oct, 2023

  • 用于机器人高效学习的空间 - 语言关注策略

    研究使用 Transformer 建立和训练机器人决策的空间表示，提出 Spatial Language Attention Policies (SLAP) 方法，使用三维标记作为输入表示进行训练，能够快速训练或微调机器人感知动作策略，并在真实环境中实现 80% 的成功率。

    Apr, 2023

  • 语言驱动的机器人表示学习

    本文介绍了一种基于语言驱动的视觉表示学习方法，即 Voltron，并通过全面的实验验证表明其在五种不同的机器人学习问题上的表现优于以往技术，特别是在需要更高级特征的问题上。

    Feb, 2023

  • PASTA：预训练的动作 - 状态 Transformer 代理

    通过自我监督学习，本研究建立了一种预训练行为 - 状态 Transformer 代理模型（PASTA），并在行为克隆、离线 RL、传感器故障鲁棒性以及动态变化适应等广泛领域的下游任务中进行了综合研究和比较设计选择，以提供有价值的见解给从业者，从而构建更加鲁棒的模型并推动 RL 策略学习的发展。

    Jul, 2023

  • 基于语言条件的语义搜索导向的机器人操作任务策略

    我们提出了一种基于语言条件的语义搜索方法，从可用的示范数据集中获取在线搜索策略，在 CALVIN 基准测试中超过了基线性能，并展现了强大的零样本适应能力，对于扩展基于在线搜索策略的任务具有巨大的潜力。

    Dec, 2023

  • 流动中的观察：使用动作提示学习来适应 CLIP 的动作识别

    通过对视频帧中的运动线索进行建模、利用动态提示学习器生成与人类动作相关的运动感知提示并通过多模态交流模块实现协作学习，我们的方法在少样本学习和零样本学习中具有显著优势，并在少参数和额外计算成本的条件下实现了竞争性性能。

    Aug, 2023

  • 基于基本技能先验的语言条件下的非结构化数据模仿学习

    本研究通过语言条件机器人操作来提高算法在适应不熟悉环境中的泛化能力。在模拟环境和真实世界中的测试中，实验证明该方法的平均完成任务长度比 HULC 方法提高多达 2.5 倍，并且在真实世界的测试中也取得了相当好的表现。

    May, 2023