NIPSJan, 2017

基于人机互动的智能体无关强化学习

PDF
TL;DR本论文探讨了一种 agent-agnostic 模式的 Human-in-the-Loop 强化学习教学方案，以期将人类教师的有益特性融入强化学习中，同时试验了在简单领域中应用 action pruning、reward shaping 和 training in simulation 等已有方法并将其表现为本模式的特例。
reinforcement learningexpert adviceteaching protocolsprotocol programshuman-in-the-loop
发现论文，激发创造
  • 透过指引提炼的可教授强化学习

    本研究提出了一种基于 “可教学” 的决策系统的交互式学习监督范式，能够通过学习外部教师提供的结构化建议，解决复杂任务的学习难度，对拼图、导航和运动等各种任务需求的人工干预也相对较少。

    Mar, 2022

  • 基于不确定性感知的强化学习，用于人在循环机器人代理的决策制定

    本文介绍一种基于强化学习的半自主智能体，当其对任务成功的信心较低时，通过估计当前状态回报的方差来请求外部帮助，该方法在离线训练期间没有访问专家，并在多个离散导航问题中有效利用有限的专家调用预算。

    Mar, 2023

  • 利用强化学习代理为人在环境中提供遵守建议的验证

    本文介绍了一种基于 Tree-based lingua-franca 的新颖交流方法，并探索了基于此方法的 Human-in-the-loop 反馈机制，提供具有可解释性的方法以解决 Advice-Conformance Verification 问题，并通过实验证明了该方法的有效性和有效性。

    Oct, 2022

  • 利用人类指导提升深度强化学习任务

    本文综述了五个最近的学习框架，这些框架主要依赖人类指导，而不是传统的一步一步的动作演示，评估了每个框架的动机、假设和实现，并讨论了可能的未来研究方向。

    Sep, 2019

  • 意见引导的强化学习

    人类导引在强化学习中经常被用来提升学习代理的性能。然而，人类的见解通常只是意见和猜测，而不是明确的论证。尽管意见存在不确定性，但它们往往比硬证据早出现。因此，通过意见来引导强化学习代理提供了更有效的学习过程的潜力，但也面临以形式化方式建模和管理意见的挑战。本文介绍了一种通过意见来引导强化学习代理的方法，并提供了一种端到端的方法来建模和管理顾问的意见。通过合成和人类顾问以及不同级别的不确定性和多个建议策略的评估，我们评估了该方法的效用。结果表明，即使是不确定的意见也能提高强化学习代理的性能，从而获得更高的奖励、更高效的探索和更好的加强策略。虽然我们在一个简化的拓扑运行示例中演示了我们的方法，但我们的方法也适用于具有更高维度的复杂问题。

    May, 2024

  • 深度强化学习中面向智能体无关行动指导的智能体感知训练

    通过代理感知但对代理不可知的动作建议 (A7) 框架，在深度强化学习中解决了样本效率低下的问题，并通过使用状态特征的相似性作为征求建议的指标，使用代理模型提取有判别性且普遍适用的状态特征，利用行为克隆训练模型以重用建议，以及引入内在奖励来激励利用专家指导，实验结果表明，A7 显著加速了学习过程，并在 GridWorld、LunarLander 和 Atari 游戏的六个场景中超过了现有方法。

    Nov, 2023

  • 加速强化学习的人类启发式框架

    本文提出了一种基于人类启发的框架以提高采样效率，其中通过逐步提供简单但相似的任务来适应复杂的强化学习任务，并且使用任何转移学习方法来减少样本复杂性而不增加计算复杂性，实验表明该框架能够在优化问题方面表现出良好的性能。

    Feb, 2023

  • 异步人类反馈下的自主机器人强化学习

    实现自主学习的算法对于在真实环境中的机器人来说一直是个挑战，但本研究描述了一个实际的强化学习系统，通过在真实环境中进行训练，并借助人类的反馈来实现不间断的改进。该系统在不需要设计奖励函数或重置机制的情况下，通过自我监督学习算法和人类反馈产生的信息来指导探索和筛选学习策略。在模拟环境和真实世界中的机器人任务上的评估结果表明，该系统能够有效地学习行为。

    Oct, 2023

  • PEBBLE: 通过重标记经验和无监督预先训练实现高效互动式强化学习

    本文提出了一种基于人机交互的强化学习方法，通过主动查询教师偏好，学习奖励模型并使用其训练智能体，使智能体能够学习更加复杂的任务，包括各种运动和机器人操作技能。与标准奖励函数相比，我们的方法能够利用实时人类反馈有效地预防奖赏利用和学习新行为。

    Jun, 2021

  • 面向人工智能协同的语言指导强化学习

    在缺乏高质量人类行为数据的情况下，使用预训练的大型语言模型生成人类语言指令的先验策略并规范化强化学习目标可以帮助人工智能代理与人类协作，并在多智能体强化学习问题中实现人工智能代理与人类偏好一致的均衡解。案例中验证了该框架的有效性。

    Apr, 2023