Feb, 2024

未来预测能成为部分可观察环境中良好历史表达的有力证据

PDF
TL;DR在部分可观察环境中，学习历史表征是强化学习的核心挑战之一。本文通过未来预测的方式探究了历史表征学习的有效性，并证明了强化学习的性能与未来观察的预测准确性密切相关。同时，该方法可以阻止高方差嘈杂信号对表征学习的影响，显著改善整体端到端方法。通过在需要处理长时间历史的三类基准测试中验证了我们的观点。
reinforcement learningpartially observable environmentshistory representationfuture predictionpolicy optimization
发现论文，激发创造
  • 纳入未来信息的策略梯度

    这篇论文提出了一种名为 PGIF 的方法，通过信息瓶颈机制，允许强化学习中的代理观察未来的真实结果，从而获得有关未来轨迹动态的更加丰富的信息，以在不完全可观察的环境中实现更高奖励的目标。

    Aug, 2021

  • 可验证的表示与高效规划用于部分可观察强化学习

    本研究旨在解决强化学习中部分可观察马尔可夫决策过程带来的性能下降问题，并通过对表示视图的利用提出了一种可行的强化学习算法，可在部分观测输入下实现比现有算法更高的性能，推动可靠强化学习在实际应用中的应用。

    Nov, 2023

  • 了解过去预测未来：强化虚拟学习

    本篇论文提出了基于预测模型，使用历史数据构建的虚拟空间的强化学习模型，能够平衡长期和短期奖励，并使模型与真实环境交互以实现学习策略的最终收敛。在 Fed-Batch 过程的实验设置下，我们的方法始终优于现有技术水平。

    Nov, 2022

  • 深度强化学习中的预测辅助目标模拟大脑学习

    预测性目标在深度强化学习系统中对表示学习和多区域交互建模具有显著效果，特别是在资源有限的架构中，长期的预测性视野能更好地支持表示转化。

    Oct, 2023

  • 结合长期未来的强化学习动力学模型学习

    本文着重于构建一个具有考虑长期未来的模型，并展示如何利用它进行有效规划和探索，通过搜寻模型下的不可能轨迹来设计探索策略，并在两种学习环境中取得了比基线更快更高报酬的效果。

    Mar, 2019

  • 利用目标条件策略学习可操作表示

    本文研究功能性显著表征的强化学习方法，可以用于改善稀疏奖励问题的探索、实现具有长期视野的分层强化学习和作为下游任务的学习策略的状态表征。通过在多个虚拟环境中对比实验，表明该方法在表征学习、探索和分层强化学习方面具有优势。

    Nov, 2018

  • 自我预测何时有帮助？理解增强学习中的辅助任务

    我们研究了辅助学习任务对强化学习中的表示学习问题的影响，包括观测重建和潜在自预测，并研究它们如何与干扰项和观测函数在 MDP 中交互。

    Jun, 2024

  • 通过预测奖励最大化部分可观测环境中的信息增益

    本文着眼于使用基于信念的奖励机制进行深度强化学习，提出了通过最大化任何凸函数的信念来实现近似的预测奖励，为深度强化学习的应用提供了新的解决方案，包括构建跟踪人员的传感器选择系统和学习时尚 MNIST 和 MNIST 数字分类的离散注意力模型等。

    May, 2020

  • 学习表示以预测未来活动

    本文提出了一种基于网络模块的自监督学习方法，旨在预测未来活动，并通过多假设方案及描述生成器阐述其意义，也在广泛的数据集上进行了活动分类实验。

    May, 2019

  • 使用合成观测学习未来表示以提高效率的强化学习

    通过丰富辅助训练数据，提出了一种无需训练的方法来合成可能包含未来信息的观察，从而改进了强化学习中的辅助表示学习，并展示了其在连续控制和基于无动作视频演示的视觉预训练中的先进性能。

    May, 2024