Aug, 2024

无学习率强化学习：非平稳目标下的模型选择案例

HTML
PDF
TL;DR本研究解决了强化学习算法在超参数选择上的敏感性，特别是学习率设置不当导致的收敛失败问题。提出了一种无学习率强化学习的模型选择框架，通过实时选择最佳学习率来提高算法性能。实验结果表明，在超参数的最优选择是时间依赖且非平稳时，数据驱动的模型选择算法优于传统的强盗算法。
发现论文，激发创造
  • 模型基深度强化学习算法框架及其理论保证

    本文提出了一种新的算法框架来设计和分析具有理论保证的基于模型的强化学习算法，该框架将不确定性原则扩展到非线性动态模型，其中模型SLBO在连续控制基准任务上实现了最先进的性能。

    Jul, 2018

  • 离线强化学习的超参数选择

    本篇论文研究了针对离线数据选择最佳RL策略的离线超参数选择方法，并通过大规模实证研究表明：1）离线RL算法对超参数的选择不具有健壮性，2）离线RL算法和Q值估计方法等因素对超参数选择具有较大影响，3）通过控制这些因素，我们可以可靠地对超参数选择进行排名，从而选择最接近设定中最佳策略的策略。

    Jul, 2020

  • 为高效的基于人口的自动强化学习在线调节混合输入超参数

    本文介绍了一种新的自动化强化学习算法，使用一种特定的时间变化bandit算法来优化持续性和类别性变量的集成，提高了Procgen基准测试的泛化性能。

    Jun, 2021

  • CostNet: 目标导向强化学习的端到端框架

    本文引入一种新的强化学习算法，通过学习马尔可夫决策过程中两个状态之间的距离来预测，距离度量作为内在奖励被用于推动智能体的学习。实验结果表明，相比于模型无关的强化学习，该算法在多个测试环境中具有更好的样本效率。

    Oct, 2022

  • 限数据的离线强化学习数据效率管道

    提出一种用于离线强化学习中算法和超参数自动选择的元算法，通过使用多个数据拆分来产生更可靠的算法-超参数选择，并在医疗保健、教育和机器人技术等各种模拟领域中比较和选择最佳策略，并输出离线策略学习算法的更高性能的策略。

    Oct, 2022

  • 离线强化学习中的模型选择的Oracle不等式

    本文研究了离线强化学习（offline reinforcement learning）中，如何进行模型选择，并针对该问题设计了一种算法ModBE，该算法可实现最优性保证、思路简单、计算高效，适用于在候选模型类中进行选择，并且以解决一系列平方损失回归问题及比较类别之间的相对平方损失为操作基础。

    Nov, 2022

  • 强化学习方法之间的效率分离：无模型、基于模型和目标条件

    我们证明了强化学习算法（包括无模型及基于模型的方法）的效率存在一个基本限制，其与环境进行交互寻找最优行为的过程在某类强化学习问题中具有指数级的下界；然而，存在一种对该类问题具有高效解决能力的方法，而该方法并非专门针对该类问题设计；与此相反，我们的限制并不适用于文献中提出的某些方法，例如，以目标为条件的方法或其他构建逆动力学模型的算法。

    Sep, 2023

  • 关于样本高效的离线强化学习：数据多样性，后验采样和更多

    我们提出了一个新颖的基于后验采样的离线RL算法，该算法在样本效率方面表现出与基于版本空间和经验正则化的算法可比拟的性能，并且具有频率主义的亚优性界限。

    Jan, 2024

  • 不需要奖励推断的人类反馈强化学习：无模型算法与实例相关分析

    通过开发一种无模型的强化学习方法，本研究以人类反馈为基础，通过对动作进行对抗性竞争，提出了一个可直接从人类偏好信息中识别最佳策略的 RLHF 算法，证明了在样本复杂度方面 RLHF 并不比传统强化学习更困难，并且通过规避奖励推断中的问题，如过拟合和分布偏移，可能提供改进的性能。

    Jun, 2024

  • 深度强化学习中的动态学习率：一种赌徒方法

    本研究解决了深度强化学习中学习率选择与优化器的重要性问题，尤其是在非平稳目标函数的情况下。通过提出基于多臂赌博机算法的动态学习率（LRRL）方法，该研究有效地根据代理的训练表现调整学习率，从而显著提升深度RL算法的性能。

    Oct, 2024