Jun, 2024

结合超参数自动优化和奖励形状

PDF
TL;DR深度强化学习在过去几年取得了显著进展，但是即使对于专家来说，找到适当的超参数配置和奖励函数仍然具有挑战性并且性能严重依赖于这些设计选择，因此我们提出了一种方法来同时优化超参数和奖励函数，实验证明综合优化可以显著改善性能，在一些环境中比基准性能好，并在其他环境中取得了竞争性表现，只有少量计算成本的增加。
发现论文，激发创造
  • 多目标强化学习的超参数优化

    对多目标强化学习中超参数优化的挑战进行了初步调查，并提出了一种系统性方法来解决这个问题，该方法能够显著提高多目标强化学习代理的性能，并鉴定了未来的研究机会。

    Oct, 2023

  • 强化学习中的超参数及其调整方法

    本论文旨在提高深度强化学习的可重复性，通过比较多个 HPO 工具，展示了 HPO 方法通常具有更高的性能和更低的计算开销，并提出采用从 AutoML 中建立的最佳实践，以及在广泛的搜索空间内进行原则性的 HPO。最终，论文推荐了一套适用于 RL 社区的最佳实践，以实现更强的实证结果、更少的计算成本、更好的可重复性和更快的进展。

    Jun, 2023

  • 通过奖励函数优化进行行为对齐

    通过使用双层目标的新框架，将辅助奖励与环境的主要奖励相结合，我们提供了一种集成设计者指定的启发式方法的鲁棒且有原则的方式，以解决现有方法的主要缺点，即使给出不对齐或指定不良的辅助奖励函数，也能始终导致高性能解决方案。

    Oct, 2023

  • 强化学习中历史感知的超参数优化框架

    本文提出了一种复杂事件处理和时间模型相结合的框架来优化强化学习系统的超参数，同时利用历史信息和并行资源来提供反馈和调整超参数。作者在使用 RL（强化学习）的 5G 移动通信案例研究中测试了该方法，结果表明历史感知框架相比传统的超参数调整方法显著提高了性能。

    Mar, 2023

  • 值为基础的深度强化学习中超参数选择的一致性

    深度强化学习在各个领域取得了巨大的成功，本文通过算法设计和精心选择超参数的结合实现了算法的改进，重要超参数的选择对性能有很大的影响，本文通过广泛的实证研究，引入了一个新的指标来确定各种超参数的一致性和可靠性，并明确了在不同的训练模式下仍然保持一致性的调整。

    Jun, 2024

  • 部分观察多智能体环境下的演员 - 评论家策略优化

    本研究讨论了基于梯度上升的策略梯度和演员 - 评论家算法在部分可观测多智能体环境中的角色，并通过对零和不完全信息游戏等模型的建模来优化模型自由多智能体增强学习的表现。

    Oct, 2018

  • 演化奖励函数自动化强化学习

    使用 AutoRL，一种进化层，通过将奖励调整视为超参数优化并训练一组 RL 代理来寻找最大化任务目标的奖励，使得评估了两个 RL 算法上四个 Mujoco 连续控制任务之后 AutoRL 在改善之前的工作基础之上表现出提升，复杂任务上的提升最大。

    May, 2019

  • 发现具有时间感知的强化学习算法

    最近的元学习进展使得可以自动发现由代理目标函数参数化的新型强化学习算法。本文提出一种对两种现有目标发现方法进行简单扩展的方案，允许在智能体的训练过程中动态更新其目标函数，从而获得具有表达能力的进度表，并增加在不同训练时间范围内的泛化能力。

    Feb, 2024

  • 强化学习的混合奖励体系结构

    本文介绍了一种新的强化学习方法 —— 混合奖励架构（HRA），通过利用分解奖励函数并为每个组成部分学习单独的价值函数来实现应对价值函数无法轻易降维的领域的挑战。在获得 Ms. Pac-Man 游戏高于人类成绩的优异表现后，证明了 HRA 在玩具问题和 Atari 游戏 Ms. Pac-Man 上的有效性。

    Jun, 2017

  • 混合变量问题的混合强化学习框架

    通过结合强化学习和贝叶斯优化技术，我们提出了一个混合强化学习框架，以解决由离散和连续变量构成的优化问题。我们的方法在合成函数和实际机器学习超参数调优任务中均超越了传统强化学习、随机搜索和独立的贝叶斯优化方法，在有效性和效率方面表现出色。

    May, 2024