overestimation bias | BriefGPT

关键词overestimation bias

搜索结果 - 11

同时双 Q 学习的有限时间分析
该论文提出了一种改良的双 $Q$- 学习方法，称为同步双 $Q$- 学习（SDQ），并通过有限时间分析展示了其性能。SDQ 消除了在两个 $Q$- 估计器之间的随机选择，这种改进使得我们可以通过一种新颖的切换系统框架来分析双 $Q$- 学习
PDF20 days ago
SQT - std Q-target
Std Q-target 是一种保守的，基于单一关键的 Q 公式：Q 网络标准差，在强化学习中解决过高估计的偏见问题，我们将 SQT 应用于 TD3/TD7 代码并在七种常见的 MuJoCo 和 Bullet 任务上与最先进的 actor-
PDF5 months ago
MinMaxMin Q 学习
MinMaxMin 是一种乐观的 Actor-Critic 算法，通过优先级经验回放的方式解决保守的强化学习算法中存在的过高估计偏差问题，实验证明 MinMaxMin 在所有测试任务中相比 DDPG、TD3 和 TD7 都能显著提高性能。
PDF5 months ago
SPQR：使用尖峰随机模型控制 Q - 集合独立性的强化学习
为了克服过度估计偏差，在深度强化学习中提出了一种新的正则化损失函数，基于随机矩阵理论的销钉 Wishart Q 集合独立正则化（SPQR），以增强多个 Q 函数的多样性，通过实现 SPQR 在在线和离线集合 Q 学习算法中进行实验证明，SP
PDF6 months ago
通过对抗性行为来抑制 Q 学习中的过高估计
通过引入虚拟对手行为的虚拟对手 Q 学习（DAQ）算法，该论文旨在解决标准 Q 学习中过高估计偏差的问题，将学习过程建模为一个双人零和博弈，并统一了几种控制过高估计偏差的 Q 学习变体。通过将 DAQ 应用于现成的强化学习算法，可以简单有效
PDF9 months ago
提升 TD3-BC：放松策略约束用于离线学习和稳定的在线微调
该研究探讨了如何通过 RL 和行为克隆来优化策略以在离线环境下改善性能，并且证明了通过减少 BC 的影响来在训练后调整权衡以产生经过优化的政策是可能的，并且可以用于稳定的在线微调。
PDF2 years ago
Q 学习过高估计偏见的影响因素
本文研究了学习速率、折扣因子和奖励信号对 Q-Learning 算法的高估偏差的影响，并通过在时间差分目标中使用指数移动平均值，精细调整学习速率和折扣因子，证明了该算法可以学习比过去的几种流行的无模型方法更准确的价值估计。
PDF2 years ago
AAAI学习悲观主义以实现鲁棒和高效的离策略强化学习
本文提出一种新的学习策略 —— 广义悲观学习（GPL），其利用可学习的罚值对目标回报进行悲观估计，在双 TD-learning 方法下训练策略评估模型，有效解决了时序差分学习过程中的过度估计偏差和悲观偏差问题，在传统的强化学习算法中取得了最
PDF3 years ago
AAAIQVMix 和 QVMix-Max：将深度质量 - 值算法扩展到合作多智能体强化学习
本文介绍了四种新算法：IQV，IQV-Max，QVMix 和 QVMix-Max，用于解决协作环境下发生的多智能体强化学习（MARL）问题。作者比较了这些算法和现有的 MARL 技术，并表明 QVMix 在测试环境中表现最佳，其优于其他算法
PDF4 years ago
截断连续分布分位数评论家混合来控制高估偏差
本文探讨了一个新方法，通过分布式表示、截断和多评估器的集成，有助于减轻连续控制环境下的高估偏差，并在连续控制基准测试套件中获得了良好的成绩。
PDF4 years ago
ICLRMaxmin Q-learning：控制 Q-learning 的估计偏差
本文提出 Maxmin Q-learning 算法来减少 Q-learning 中过高估计值的偏置，为了对偏置进行更好的控制，提出了一个可以灵活控制的参数，并经过实验证实了该算法在控制估计偏差方面更为有效，并在多个基准问题上实现了卓越的性能
PDF4 years ago