Dec, 2023
计数奖励自动机: 通过利用奖励函数结构的样本高效强化学习
Counting Reward Automata: Sample Efficient Reinforcement Learning
Through the Exploitation of Reward Function Structure
TL;DR我们提出了一种计数奖励自动机——一种能够模拟任何能以形式语言表示的奖励函数的有限状态机变体。与以前的方法不同，这些方法仅能表达任务为正则语言，而我们的框架允许通过无限制语法来描述任务。我们证明了一个配备这样抽象机器的代理能够解决比使用当前方法更多的任务。我们展示了这种表达能力的增加并不需要增加自动机的复杂性。我们提出了一系列利用自动机结构来提高样本效率的学习算法。我们展示了我们的方法在样本效率、自动机复杂性和任务完成方面优于竞争方法的实证结果。