ICMLJul, 2023

基于评级的强化学习

PDF
TL;DR本文提出了一种新的基于评分的强化学习方法，利用人类评分来获取强化学习中的人类指导。该方法与现有的基于偏好和基于排名的强化学习范例不同，通过对样本轨迹的人类评估而非样本对的相对比较，基于人类评分构建了新的预测模型和新的多类损失函数。我们通过基于合成评分和真实人类评分的几个实验研究来评估新的基于评分的强化学习方法的有效性和益处。
rating-based reinforcement learninghuman ratingsreinforcement learning paradigmsprediction modelmulti-class loss function
发现论文，激发创造
  • 意见引导的强化学习

    人类导引在强化学习中经常被用来提升学习代理的性能。然而，人类的见解通常只是意见和猜测，而不是明确的论证。尽管意见存在不确定性，但它们往往比硬证据早出现。因此，通过意见来引导强化学习代理提供了更有效的学习过程的潜力，但也面临以形式化方式建模和管理意见的挑战。本文介绍了一种通过意见来引导强化学习代理的方法，并提供了一种端到端的方法来建模和管理顾问的意见。通过合成和人类顾问以及不同级别的不确定性和多个建议策略的评估，我们评估了该方法的效用。结果表明，即使是不确定的意见也能提高强化学习代理的性能，从而获得更高的奖励、更高效的探索和更好的加强策略。虽然我们在一个简化的拓扑运行示例中演示了我们的方法，但我们的方法也适用于具有更高维度的复杂问题。

    May, 2024

  • 使用离线人类反馈加强图像字幕生成器

    本文介绍了一种利用人力评分提高图像字幕模型的方法，通过策略梯度方法在离线强化学习框架下最大化人类评级作为奖励进行优化；实验结果表明该方法可以推广到之前未见过的图片集，具有较好的泛化性能。

    Nov, 2019

  • 通过自适应评分学习提高交互式强化学习的反馈效率

    本文提出了一种新的方法，使用由人提供的分数代替成对偏好，在交互式强化学习中提高反馈效率，该方法在机器人运动和操作任务中得到广泛评估，结果表明，该方法可以通过自适应学习从分数中高效学习接近最优策略，而无需像成对偏好学习方法那样需要更少的反馈。

    Jul, 2023

  • 深度强化学习从人类偏好中学习

    本文研究了使用非专家人类偏好来定义复杂目标的强化学习系统的方法，并且证明此方法可实现许多复杂的强化学习任务，包括 Atari 游戏和模拟机器人，同时也大幅降低了人类监督成本，以及展示了本方法的灵活性，并可成功使用较短时间完成复杂的新颖行为的训练，同时也采用了前人的人类反馈信息和环境。

    Jun, 2017

  • 基于强化学习的数字人类互动推荐决策

    本研究基于强化学习、多模态嵌入和图嵌入等技术，设计了一个新型的数字人互动推荐代理框架，以提高个性化推荐和数字人代理的效率和准确性。实验结果表明该框架具有更好的个性化客户参与和更好的客户体验。

    Oct, 2022

  • 超越人类偏好：通过 LLMs 探索强化学习轨迹的评估与改进

    基于偏好的强化学习利用大型语言模型生成自动偏好数据，并通过重构奖励函数来优化强化学习训练，在复杂环境中加速收敛并提高效果。

    Jun, 2024

  • 基于主动偏好学习的强化学习 APRIL

    本文提出了一种基于偏好反馈的强化学习算法，结合了主动排序策略，能够在具有限先验知识（如群体机器人）的情景下，使用专家反馈指导智能体的策略搜索，经过少量专家排序即可获得满意的策略。

    Aug, 2012

  • 基于状态扩展的人类偏好强化学习方法

    本文提出了一种状态增强技术，利用二元反馈帮助人类进一步了解代理行为来学习奖励模型为强化学习提供更好的支持，并在三种任务领域 Mountain Car、Quadruped-Walk 和 Sweep-Into 中验证了其有效性。

    Feb, 2023

  • 人在环路强化学习的小样本偏好学习

    使用多任务学习来实现基于人类反馈的强化学习，通过将偏好模型训练在以前的任务数据上，我们仅需要很少的查询就可以在 Meta-World 中训练出具有更好效果的机器人策略模型。

    Dec, 2022

  • 无问题的调查：一种强化学习方法

    通过使用基于强化学习（RL）的方法从 clickstream 数据中提取代理评分（proxy ratings），无需使用调查数据进行训练。代理评分比传统的调查数据更加直观和有用，可以有效地解决调查数据存在的各种缺陷。

    Jun, 2020