语言驱动的机器人技能研究中，通过利用大规模语言模型的高级推理能力应用于低级机器人控制，继续面临的挑战是获取多样化的基础技能。本研究介绍了一种完全由语言模型驱动的技能发现框架，通过提供的场景描述和机器人配置生成任务提案，并逐步获得新的技能来完成任务，使用强化学习过程以及独立的视觉 - 语言模型确保学到的行为的可靠性和可信度，从而使机器人能够高效地提出和完成高级任务。

May, 2024

大型语言模型（LLMs）显示出它们在人类世界的丰富语义知识方面的强大自动推理和规划能力。然而，接地问题仍然阻碍了 LLMs 在真实环境中的应用。为了自主将 LLM 接地到环境中，我们提出了自主驱动接地（SDG）框架，用于自动和渐进地通过自主驱动技能学习将 LLM 接地。通过在著名的指令遵循任务集 - BabyAI 中进行验证，SDG 在最具挑战性的任务中达到了与成百上千次演示成本的模仿学习方法相媲美的性能，证明了学习到的技能的有效性，显示出我们框架的可行性和效率。

Sep, 2023

我们提出了一种从专家示范中发现技能的算法，该算法首先利用大型语言模型对轨迹进行初步分割，然后采用层次变分推理框架结合语言模型生成的分割信息，通过合并轨迹段来发现可重用的技能。为了进一步控制压缩和可重用性之间的权衡，我们引入了一种基于最小描述长度原则的新辅助目标，有助于指导这一技能发现过程。我们的结果表明，使用我们的方法装备的代理能够发现有助于加速学习的技能，并在 BabyAI（一个网格世界导航环境）以及 ALFRED（一个家庭仿真环境）的新长期任务中胜过基线技能学习方法。

Feb, 2024

本文研究无监督技能发现的问题，提出了遵守 Lipschitz 约束的技能发现 (LSD) 方法，通过实验得出 LSD 方法在多任务表现上优于之前的方法，并且其学习到的表示函数可以用于解决下游任务，实现了高维状态空间下对多目标追踪的零样本学习。

Feb, 2022

通过数学方法评估语言条件化策略学习框架中技能与语言指令之间的关系，提出了一种称为语言条件化技能发现（LCSD）的端到端模仿学习方法，通过最大化语言和技能之间的互信息，在无监督的情况下学习离散潜在技能并利用技能序列重构高级语义指令，通过在 BabyAI、LORel 和 CALVIN 上进行大量实验，展示了我们方法在语言条件化的机器人导航和操作任务中的优越性，包括对未知任务的增强泛化能力、改进的技能可解释性和显著提高的任务完成成功率。

Feb, 2024

通过使用大型语言模型扩充轨迹的自然语言描述，我们提出了一种方法来解决质量 - 多样性问题，允许用户指定任意目标行为描述，并通过高层次的文本提示来塑造生成的轨迹。同时，我们还提出了一种基于大型语言模型的评估方法，并使用 2D 迷宫中的模拟机器人导航开发了一种基准测试用于实验验证。

Aug, 2023

大型语言模型可通过引入语义多样性来量化生成过程中的预测不确定性，从而减少虚构性的生成，提高模型可靠性，并在问题回答任务中取得了优于现有方法的结果，同时在计算效率上也有了突破。

Jun, 2024

语音条件加强学习是获取技能库的好工具，但大多数学习代理无法自主学习并直接语言条件化不能表达过多的行为多样性。本文提出了一种名为 LGB 的新型语言条件强化学习思路，通过中间语义表示解耦技能学习和语言基础。

Jun, 2020

通过利用语义知识作为搜索启发式的语言模型，我们的方法（Language Frontier Guide，LFG）可以在新颖的现实环境和模拟基准测试中优于无知探索和其他使用语言模型的方法。

Oct, 2023

本文提出了一种交互式的任务规范问题形式，通过自然语言指令和一系列语言修正来引导自主代理获得新技能，实现快速获取新技能，显著优于直接非交互式指令跟随。

Nov, 2018