提出了一种基于Q值平均的深度强化学习算法扩展Averaged-DQN，通过减少目标值中的近似误差方差，改善DQN算法的不稳定性和变异性，实验结果表明可以提高Arcade Learning Environment测试集的稳定性和性能。

Nov, 2016

本文研究了一种新的多步行动值算法 $Q(\sigma)$，它统一和概括了现有的算法，在包含它们的情况下将它们作为特殊情况。我们引入了一个新参数 $\sigma$，它允许在备份过程中每一步算法执行的采样程度连续变化。在实验中，我们发现 $Q(\sigma)$ 的中间值可以在一定程度上取得比纯采样和纯期望更好的性能，并且混合值可以动态变化，从而导致更大的性能提高。

Mar, 2017

本研究将宽容度应用于多智能体深度强化学习中，通过控制弱化负面策略更新所用的温度值，引入了乐观主义来更新价值函数，从而促进了协作，并在长期规划进程中很可能收敛到最优策略。实证评估表明，相比于标准和调度HDQN代理，LDQN代理更有可能在具有随机奖励的任务中收敛到最优策略。

Jul, 2017

本文提出了一种基于价值的深度强化学习的新的优化目标，通过增加模型学习组件来扩展传统的DQN，以产生一个转码器网络，学习环境模型和强化学习问题共享结构，该模型的预测误差被包含在基本DQN损失中作为额外的正则化项，改进了采样效率和性能。在Atari基准测试的20个游戏中，我们实验证明了我们的假设，获得了比基础DQN更好的结果。

Sep, 2018

本论文从算法和统计角度出发，对深度强化学习中的深度Q网络算法进行了理论分析，并给出了收敛速率。作者还提出了Minimax-DQN算法，并将其与马尔可夫博弈的Nash均衡进行收敛速率的比较。

Jan, 2019

提出了一种名为 MP-DQN 的新方法来解决重要的问题，有效地解决了 P-DQN 在动作空间中处理所有动作参数的局限性，从而在增加数据效率方面得到显着改善，并在平台、机器人足球目标和半场进攻等领域取得了收敛策略表现显著优于 P-DQN 和其他传统算法。

May, 2019

该研究论文探讨了如何提高深度增强学习的数据效率，并证明了新提出的技术并没有真正提高数据效率，而是增加了复杂性和计算成本，提出了一种新的改进的DQN算法，并建议将其作为未来改进深度强化学习数据效率的基准。

Mar, 2020

本研究从经验重放和模型的角度出发，对Deep Q-Network算法中回放量的变化对样本效率和算法健壮性的影响进行了系统性研究，在Mountain Car环境下获得了提高样本效率、降低性能波动、提高算法鲁棒性的结果，为算法应用方面提供了新的思路。

Feb, 2023

混合符号奖励环境中，重新考虑原有策略更新方法的安全性，通过解决数值估计误差的问题和不显式地最大化Q值的方法，提出了新的离策略演员-评论家方法，以提高深度强化学习算法在连续动作空间中的学习效果。

Nov, 2023

当代强化学习研究已广泛采用策略梯度方法作为解决学习问题的万能方法，然而只要我们能高效地利用它们，基于价值的方法在许多领域仍然有用。本文探讨了DQNs在强化学习中的混沌性质，同时理解了当训练时它们所保留的信息如何被改造用于适应不同任务的模型。我们从设计一个简单的实验开始，观察环境中每个状态和动作的Q值。然后我们通过不同的训练方式进行训练，探索这些训练算法如何影响准确学习（或未学习）Q值的方式。我们测试了每个训练模型在重新训练以完成稍微改变的任务时的适应性。然后我们扩展实验设置，测试一个无保护路口上的自动驾驶问题。我们观察到，当基础模型的Q值估计接近真实Q值时，模型能更快地适应新任务。结果提供了一些关于哪些算法对于高效适应任务有用的见解和指导。

Jul, 2024