通过基于值函数空间的几何特性，提出了一种新的表征学习的视角，证明了值函数作为辅助任务的实用性并将敌对价值函数作为其自然候选。在四间房间领域的实验中，展示了敌对价值函数作为辅助任务的有用性和特点。

Jan, 2019

本文提出了基于参数的值函数（PBVFs）的方法，它们可以在不同的策略之间进行泛化，并首次展示了如何使用 PBVF 推导出新颖的离线策略梯度定理，然后采用蒙特卡罗或时间差分方法训练 PBVF 并基于此演算出离线策略梯度（off-policy policy gradient）算法，结果表明学习到的 PBVF 能够零 - shot 学习新的超越训练阶段任何策略的好策略，另外文章也在离散和连续控制任务上进行实验，表现得与最先进的方法类似。

Jun, 2020

提出了一种方法，可以通过基于价值函数估计的一系列观察结果来学习任务无关的表示，其中最后一帧对应于一个目标状态。这些表示将学习通过与目标状态的时序距离相关的不同任务之间的状态，无论外观变化和动力学如何。这种方法可以用于将学习的策略 / 技能转移到未见过的相关任务。

Dec, 2023

GVFExplorer 通过使用方差估计和行为策略更新，实现了同时评估多个 GVFs 并减少环境交互的数据效率学习方法。

May, 2024

一个使用强化学习和通用值函数的库存管理方法，通过域支持的库存补货策略实现了平衡可用性和浪费等目标，并提供了对决策的领域支持洞察。

Nov, 2023

本研究探索了使用 GVF 和有向探索策略结合探索和辅助任务学习的方法来提高强化学习中的样本效率，实验表明该方法在不同大小的网格导航任务中表现出优异的性能。

Mar, 2022

该论文探讨了如何使用层次强化学习来解决长期任务中存在的性能问题，并提出了一种名为 Value Function Spaces 的状态抽象方法，通过利用对应于每个低层技能的价值函数来表示任务相关信息，从而在迷宫解决和机器人操纵等任务中提高了性能及零样本泛化能力。

Nov, 2021

本文提出了一种在具有稀疏奖励下的大型 MDPs 中处理 long-range goals 的方法，该方法通过分层建模、farthest point sampling 和 RL 算法的结合来解决这个问题。实验结果表明，该方法比标准的 RL 算法更能有效地达成目标。

Aug, 2019

本文介绍了如何通过引入特征奇异目的 (intrinsic reward functions) 从学习过后的 PVFs 中隐式定义选项来解决选项发现问题，从而在强化学习中同时解决了表示学习和选项发现两大难题。

Mar, 2017

这篇文章提出了一种基于元梯度的全局价值函数（GVFs）发现方法，从而让强化学习（RL）代理能够发现自身的问题并通过学习答案来获得未预期的有用知识和技能，在 Atari 2600 电子游戏中，这些辅助任务通过与主任务一起元学习的方式可以提高一个演员 - 评论家代理的数据效率。

Sep, 2019