ICMLMay, 2024

通过自对准使用大型语言模型学习机器人技能的奖励

PDF
TL;DR在没有人类干预的情况下，我们提出了一种通过使用大型语言模型（LLM）来学习奖励的方法，该方法通过迭代的自我对齐过程，最小化 LLM 和学习奖励函数之间的排名不一致性，从而在训练效果和效率方面实现了一致的改善，并且相比于基于突变的方法消耗了更少的 GPT 令牌。
learning reward functionslarge language modelsmethodreward parameterssimulation environments
发现论文，激发创造
  • 利用大型语言模型学习物理技能的奖励

    使用大型语言模型通过环境反馈提取任务知识，为物理技能创建高效的奖励函数。方法包括利用语言模型提出奖励函数的特征和参数，然后通过迭代自对准过程更新这些参数，使语言模型与学习到的奖励函数的排名一致，通过在三个模拟物理技能学习任务中的测试验证了方法的有效性。

    Oct, 2023

  • 自我完善的大型语言模型作为机器人深度强化学习的自动奖励函数设计者

    我们提出了一个带有自我完善机制的新型大语言模型框架，用于自动化奖励函数设计。通过在多个连续机器人控制任务上的实验，结果表明我们的大语言模型设计的奖励函数能够与手动设计的奖励函数相媲美甚至超越，突显了我们方法的效果和适用性。

    Sep, 2023

  • 机器技能综合的语言到奖励转换

    本文提出了一种新颖的方法，即通过利用大型语言模型 (LLMs) 定义奖励参数，从而优化和实现各种机器人任务，并结合实时优化器 MuJoCo MPC，使用户可以交互地创造行为并快速获得结果反馈。作者在一个模拟仿真机器人四足动物和一种机械手进行了 17 个任务的评价，证明了这种方法成功解决了 90% 的任务，并在真实机器人手臂上验证了方法的有效性，包括非握持推动等复杂操作技能。

    Jun, 2023

  • LARG，基于语言的自动奖励和目标生成

    本研究介绍了一个基于自然语言生成奖励和目标函数的机器人操作自动化训练方法，运用 Goal-conditioned 和 MTRL 技术，使用 Large Language Models，针对机器人操作的可扩展性问题进行了实验验证。

    Jun, 2023

  • 利用大型语言模型指导强化学习的预训练

    提出了一种名为 ELLM（LLM 探索）的方法，它利用来自文本语料库的背景知识来塑造探索，通过利用大规模语言模型预训练，无需人介入便能引导智能体朝向有人类意义的和可能有用的行为方向，通过在 Crafter 游戏环境和 Housekeep 机器人模拟器中的实验，证明了 ELLM 训练的代理在预训练期间具有更好的常识行为覆盖，并且在一系列下游任务中通常与或优于性能。

    Feb, 2023

  • 自奖励语言模型

    通过自我奖励语言模型的迭代 DPO 训练，本研究展示了模型的指示遵循能力及为自身提供高质量奖励的能力的提升，最终的 Llama 2 70B 模型在 AlpacaEval 2.0 排行榜上表现优于许多现有系统，包括 Claude 2、Gemini Pro 和 GPT-4 0613。这项初步研究为模型在两个方向上不断改进的可能性打开了大门。

    Jan, 2024

  • REvolve: 大型语言模型在自动驾驶中的奖励进化

    利用大型语言模型来设计人类对鼓励功能的反馈机制，从而更好地训练自主驾驶系统。

    Jun, 2024

  • 利用大型语言模型的反馈加速机器人操控的强化学习

    通过利用大型语言模型的及时反馈，Lafite-RL（语言代理反馈互动式强化学习）框架使强化学习智能体能够有效地学习机器人任务，实验结果表明，Lafite-RL 智能体在自然语言的简单提示设计下，通过大型语言模型的引导在学习效率和成功率方面优于基准模型，凸显了大型语言模型所提供的奖励的功效。

    Nov, 2023

  • 使用大型语言模型生成和演化高速行驶的奖励函数

    整合大型语言模型和强化学习的框架提高自动驾驶领域中奖励函数的设计，通过迭代循环的 RL 训练和大型语言模型的反思，生成和优化高速公路场景的奖励函数，实验结果显示该方法相比手工设计的奖励函数能够取得 22% 更高的平均成功率。

    Jun, 2024

  • 利用大型语言模型自动化并加快使用奖励机制的强化学习

    我们提出了 LARL-RM 算法，利用自动机将高层知识编码到强化学习中，以加速强化学习过程，同时使用大型语言模型通过提示工程来获取高层领域特定知识，避免了需要专家编码自动机的问题，且能够在无需专家指导和监督下进行全闭环强化学习，我们还展示了算法收敛到最优策略的理论保证，并通过两个案例研究实现了 30% 的加速收敛。

    Feb, 2024