本文介绍了一种名为 Contrastive Language, Action, and State Pre-training (CLASP) 的方法，采用分布式输出使文本命令和行为单元之间的对齐变得更加准确，从而帮助了解决机器人学习中的相关问题。该模型在对未知数据集进行检索和图像描述生成等任务中表现出了优秀的性能。

Apr, 2023

该论文介绍了一个名为“语言世界”的元世界基准的扩展，该基准允许使用大型语言模型在模拟机器人环境中使用半结构化自然语言查询和使用自然语言描述的脚本技能。通过使用与元世界相同的任务集，可以轻松将语言世界的结果与元世界的结果进行比较，从而比较使用大型语言模型和使用深度强化学习的最新方法之间的差异。其次，该论文介绍了一种名为“Plan Conditioned Behavioral Cloning”的方法，该方法允许使用端到端演示来优化高级计划的行为。使用语言世界，我们展示了PCBC能够在各种少样本情况下实现强大的性能，通常只需要一个演示即可实现任务的泛化。我们已经将语言世界作为开源软件提供，链接为https://URL。

Oct, 2023

通过一小部分策略演练，我们提出了一个为机器人在任意环境中的性能提供严格下界评估的框架，通过应用标准的随机排序来提供性能分布的最差情况边界，并确保边界在用户指定的置信水平和紧凑度上成立。

May, 2024

机器人学中的评估与模拟环境之间的控制和视觉差异是可靠的模拟评估的关键挑战，在创建适用于常见真实机器人设置的SIMPLER模拟环境的基础上，我们证明了在这些环境中的政策表现与真实世界中的表现之间的强相关性，同时准确反映了真实世界的政策行为模式，通过我们的工作流以及开源的SIMPLER环境，促进了通用操作策略和模拟评估框架的研究。

May, 2024

提出了一种新框架DiffGen，通过集成可微分物理模拟、可微分渲染和视觉-语言模型，实现自动和高效的机器人演示生成，通过最小化语言指令的嵌入与模拟观察结果的嵌入之间的距离来完成指定任务，验证实验表明，DiffGen可以有效地生成机器人数据，并且减少了人力和训练时间的投入。

May, 2024

基于视频-语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在Meta-World任务中，通过在Open X-Embodiment数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用Meta-World上的具有挑战性任务推广设置的领域数据进一步证明，相比先前使用二元分类训练的语言条件奖励模型，静态图像或不利用视频数据中的时间信息，我们的方法实现了更高效的训练。

May, 2024

Manipulate-Anything是一种可扩展的自动化生成方法，在没有特权状态信息、手动设计的技能的情况下，在真实环境中操作任何静态物体，其生成的演示数据可以用于生成鲁棒的行为克隆策略。

Jun, 2024

本研究解决了学习的语言条件机器人策略在适应新实际任务时的低效问题。我们提出了一种名为PALO的创新方法，通过利用视觉-语言模型对任务分解的语义理解，结合少量示例和语言分解，实现快速的非参数适应。实验结果表明，PALO在长时限、多层次的任务中表现优越，超越了现有的状态下的预训练通用策略。

Aug, 2024

本研究解决了视觉语言行动（VLA）模型在机器人操作任务中的有效性和鲁棒性评估问题。通过推出LADEV，一个语言驱动的平台，该平台能够自动生成模拟环境并实现多样化的自然语言任务指令，显著提高了测试效率和模型评估的可靠性。实验结果表明，LADEV不仅提升了评估效率，还为VLA模型提供了坚实的评估基线，促进了更智能的机器人系统的发展。

Oct, 2024

本研究旨在解决生成机器人仿真的评估挑战，提出了一种综合评估框架，涵盖质量、多样性和推广能力三个核心方面。实验结果表明，该框架的评估与人工评估高度一致，并强调了平衡不同评估指标的重要性及当前方法在推广能力方面的普遍难题。

Oct, 2024