Jun, 2023

动态系统的乐观主动探索

PDF
TL;DR本文探讨了如何对未知的动态系统进行探索以解决多个下游任务的优化问题，提出了一种使用概率模型来量化关于未知动态的认识不确定性的算法 OPAX，结果表明 OPAX 不仅在理论上具有可行性，在新的下游任务的零 - shot 规划上也表现良好。
reinforcement learning algorithmsactive explorationepistemic uncertaintyunknown dynamicszero-shot planning
发现论文，激发创造
  • 基于模型的主动探索

    论文提出了一种高效的 Model-Based Active eXploration (MAX) 算法用于强化学习中的有效探索，该算法使用前向模型的集合来规划观察新事件的行为，优化代理行为，通过基于贝叶斯的探索估计集合成员之间的未来预测差异衡量新颖性，实验证明在半随机离散环境中 MAX 比强基线算法至少高效一个数量级，能够扩展到高维连续环境。

    Oct, 2018

  • 自适应探索的近端策略优化

    探讨了在强化学习环境下的探索与利用权衡，提出了自适应探索的近端策略优化算法（axPPO），该方法通过根据智能体的最近表现动态调整探索幅度，提高了学习效率，特别是在学习过程开始阶段需要大量探索性行为时。

    May, 2024

  • 非线性系统中基于模型的 RL 的最优探索

    本研究针对非线性动态系统的控制问题，提出了一种通过最小化控制器损失和在任意系统中都能达到最佳实例速率的算法，该算法通过策略优化来实现优化实验设计，从而降低系统的参数不确定性。

    Jun, 2023

  • 高斯过程状态空间模型本地主动学习

    本文提出了一种基于高斯过程状态空间模型的主动学习策略，旨在获取状态操作空间有界子集上的准确模型，并通过模型预测控制集成探索过程中收集的信息和自适应改进探索策略。

    May, 2020

  • 基于贝叶斯优化的目标驱动动态学习

    通过基于贝叶斯优化的主动学习框架以及最优控制方案，采用特定任务方法，使用局部线性动态模型来设计给定任务的控制器，并通过对物理系统的实验来迭代地更新模型，最终在四旋翼实验台上进行仿真和实验，验证了该方法的有效性。

    Mar, 2017

  • 策略优化中可证明高效的探索

    本文提出了一种 Proximal Policy Optimization 算法的乐观变异版本（OPPO），它实现了在带有线性函数拟合、未知转移和对抗奖励的情况下，探索机制下的近似最优解，是第一种实现这一目标的算法。

    Dec, 2019

  • 通过知识危险寻优策略优化实现高效探索

    提出了一种基于期望风险的探索算法，通过训练神经网络和优化策略使智能体具有探索未知状态的能力，在深度强化学习中表现出良好的性能。

    Feb, 2023

  • 高斯系统的最优强化学习

    本文研究了对于强化学习中的探索与利用之间的权衡，如果所有信念都是高斯过程，那么关于最优学习的解析陈述有多大程度的可能性。给出了非线性、时变系统在连续时间和空间中的损失和动态学习的一阶近似，受到动态学中相对较弱的限制，并描述了近似有限维投影如何有助于理解这一结果。

    Jun, 2011

  • FLEX: 一种非线性系统自适应探索算法

    本论文介绍了一种基于最优试验设计的非线性动力学探索算法 FLEX，其策略最大化下一步的信息并具有适应性，可与通用参数学习模型兼容且需要最少的资源，在不同环境下进行测试并证明其性能与计算成本低。

    Apr, 2023

  • 乐观的近端策略优化

    本研究通过提出一种基于乐观策略优化的方法（Optimistic Proximal Policy Optimization，OPPO），针对奖励稀少的领域，考虑了总收益的不确定性并在此基础上对策略进行乐观评估，从而优化自主代理的学习效果，实现了在表格任务上优于现有方法的结果。

    Jun, 2019