Jul, 2024
适应新任务的强化学习智能体：基于Q-值的洞察
Towards Adapting Reinforcement Learning Agents to New Tasks: Insights
from Q-Values
TL;DR当代强化学习研究已广泛采用策略梯度方法作为解决学习问题的万能方法，然而只要我们能高效地利用它们，基于价值的方法在许多领域仍然有用。本文探讨了DQNs在强化学习中的混沌性质，同时理解了当训练时它们所保留的信息如何被改造用于适应不同任务的模型。我们从设计一个简单的实验开始，观察环境中每个状态和动作的Q值。然后我们通过不同的训练方式进行训练，探索这些训练算法如何影响准确学习（或未学习）Q值的方式。我们测试了每个训练模型在重新训练以完成稍微改变的任务时的适应性。然后我们扩展实验设置，测试一个无保护路口上的自动驾驶问题。我们观察到，当基础模型的Q值估计接近真实Q值时，模型能更快地适应新任务。结果提供了一些关于哪些算法对于高效适应任务有用的见解和指导。