Jun, 2024

自我预测何时有帮助？理解增强学习中的辅助任务

PDF
TL;DR我们研究了辅助学习任务对强化学习中的表示学习问题的影响，包括观测重建和潜在自预测，并研究它们如何与干扰项和观测函数在 MDP 中交互。
auxiliary learning tasksrepresentation learningreinforcement learningobservation reconstructionlatent self-prediction
发现论文，激发创造
  • 通过生成和测试发现辅助任务

    本文介绍了一种基于表示学习思想的强化学习辅助任务发现方法，通过不断生成新的辅助任务并保留具有较高效用性的任务来提高数据效率，并引入了一种反映辅助任务效用的衡量标准。实现的算法在多种环境下显著优于随机任务和手动设计的任务。

    Oct, 2022

  • 比较强化学习表征学习的辅助任务

    生成表示在强化学习中得到了稳步流行，由于其在提高样本效率和许多环境中的回报方面的潜力。本文对常见的辅助任务进行了比较，基于数百个使用最先进的离策略强化学习算法训练的代理程序。发现显示，辅助任务的表示学习对于维度和复杂度较高的环境是有利的，并且学习环境动态性胜于预测奖励。我们相信这些洞察将使其他研究人员能够更明智地决定如何利用表示学习解决他们的特定问题。

    Oct, 2023

  • 深度强化学习中的预测辅助目标模拟大脑学习

    预测性目标在深度强化学习系统中对表示学习和多区域交互建模具有显著效果，特别是在资源有限的架构中，长期的预测性视野能更好地支持表示转化。

    Oct, 2023

  • 预测已知信息有助于自证自学

    这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

    Aug, 2020

  • 强化学习中有用的辅助任务是什么：研究目标策略的影响

    本研究研究探讨在强化学习中，作为表示学习的辅助任务（auxiliary tasks）的目标策略（target policy）对主任务（main task）学习的影响，实证结果表明，贪心策略的辅助任务往往有效，而在所有策略中，甚至包括均匀随机策略，通常都比基线更有效。与其他策略相比，主任务策略往往不太有效。

    Apr, 2022

  • 辅助任务对表示动态的影响

    本文研究了在稀疏奖励环境中，如何通过分析时间差分算法的动态来建立转移算符的谱分解和各种辅助任务诱导的表示之间的联系，并利用这些理论结果来选择深度强化学习代理的辅助任务。

    Feb, 2021

  • 未来预测能成为部分可观察环境中良好历史表达的有力证据

    在部分可观察环境中，学习历史表征是强化学习的核心挑战之一。本文通过未来预测的方式探究了历史表征学习的有效性，并证明了强化学习的性能与未来观察的预测准确性密切相关。同时，该方法可以阻止高方差嘈杂信号对表征学习的影响，显著改善整体端到端方法。通过在需要处理长时间历史的三类基准测试中验证了我们的观点。

    Feb, 2024

  • 利用上下文结构生成有用的辅助任务

    通过生成和学习有用的辅助任务，最大化经验重用，从而学习解决给定任务的方法，通过计数推理和离线策略方法同时学习这些辅助任务，从而实现多任务强化学习的新框架。

    Mar, 2023

  • 连接状态与历史表征：理解自预测强化学习

    深度强化学习的关键是表示方法，这篇论文揭示了多种表示学习方法和理论框架之间的共同性，特别是基于自预测抽象的思想，并给出了学习自预测表示方法的最简算法和实用指南。

    Jan, 2024

  • 使用合成观测学习未来表示以提高效率的强化学习

    通过丰富辅助训练数据，提出了一种无需训练的方法来合成可能包含未来信息的观察，从而改进了强化学习中的辅助表示学习，并展示了其在连续控制和基于无动作视频演示的视觉预训练中的先进性能。

    May, 2024