Feb, 2022

ExPoSe: 将基于状态的探索与基于梯度的在线搜索相结合

PDF
TL;DR本论文提出一种高效有效的在线搜索算法 —— 探索性策略梯度搜索（ExPoSe），结合明确定义的探索机制，并在在线搜索过程中直接更新搜索策略参数，利用状态之间的信息共享，评估其在各种决策制定问题中的性能表现（包括 Atari 游戏、Sokoban 和稀疏图中的 Hamilton 圈搜索），结果表明 ExPoSe 在所有领域中始终优于其他流行的在线搜索算法。
online search algorithmexploratory policy gradient searchinformation sharingexploration mechanismdecision-making problems
发现论文，激发创造
  • 政策梯度背后的探索神话

    我们提出了一种新的分析方法，并区分了探索技术的两个不同影响。首先，它们使得能够平滑学习目标并消除局部最优解，同时保留全局最优解。其次，它们修改了梯度估计，增加了随机参数更新最终提供最优策略的概率。在这些影响的基础上，我们讨论并通过熵奖励进行了实证研究，突出了其局限性，并为该策略的设计和分析开辟了未来的研究方向。

    Jan, 2024

  • 基于模型探索的策略优化

    介绍了一种名为 Policy Optimization with Model-based Explorations (POME) 的新的强化学习策略优化方法，将模型自由和模型依赖估计方法的差距视作探索价值的度量，并将 Monte-Carlo 抽样方法与转移模型相结合，以最大化预测误差的探索价值，从而解决了模型自由与模型依赖学习之间权衡的问题。

    Nov, 2018

  • 策略梯度搜索：无需搜索树的在线规划和专家迭代

    本研究提出一种用于模拟搜索的政策梯度搜索方法，通过在线更新神经网络模拟策略，实现避免使用搜索树的效果。在 Hex 上，与 MCTS 相比，PGS 取得了相当的性能，并且使用 PGS 进行专家迭代训练的代理能够在 9x9 Hex 中击败最强的开源 Hex 代理 MoHex 2.0。

    Apr, 2019

  • 应对挑战环境中机器人探索的在线自适应无导数评估

    该论文介绍了一种基于状态价值函数、离线蒙特卡罗训练和基于传感器信息的内在奖励函数的机器人探索方法，该方法能够更好地预测未来状态的价值以更好地指导机器人探索，在挑战性的地下和城市环境中首次应用于真实世界数据集中。

    Apr, 2022

  • 蒙特卡罗树搜索用于策略优化

    本文提出了一种基于蒙特卡罗树搜索和无梯度优化的策略优化方法，称为 MCTSPO，通过使用上界置信度启发式获得更好的探索 - 利用平衡，相对于基于梯度和深度遗传算法的基准，在具有欺骗性或稀疏奖励函数的强化学习任务中表现更佳。

    Dec, 2019

  • GePA*SE: 用于缓慢评估的广义基于边缘的并行 A * 算法

    提出了一种名为 GePA * SE 的算法，它是 PA * SE 和 ePA * SE 的泛化，可以在具有评估时间变化区间的任务上实现并行搜索，可用于机器人领域。

    Jan, 2023

  • 通过知识危险寻优策略优化实现高效探索

    提出了一种基于期望风险的探索算法，通过训练神经网络和优化策略使智能体具有探索未知状态的能力，在深度强化学习中表现出良好的性能。

    Feb, 2023

  • 策略优化中可证明高效的探索

    本文提出了一种 Proximal Policy Optimization 算法的乐观变异版本（OPPO），它实现了在带有线性函数拟合、未知转移和对抗奖励的情况下，探索机制下的近似最优解，是第一种实现这一目标的算法。

    Dec, 2019

  • 用策略梯度学习经典规划策略

    引入一种新的搜索框架来解决规划问题，该框架能够在解决特定规划问题时在几种前向搜索方法之间交替使用，使用可训练的随机策略来选择搜索方法，进而优化搜索策略，实验结果表明该框架优于传统的最佳优先搜索和均匀策略方法。

    Oct, 2018

  • SoftTreeMax: 通过树搜索实现策略梯度的指数级方差减少

    本文提出一种新型的神经网络方案 SoftTreeMax，通过树形计划从多个层面减轻策略梯度算法中的大方差、高样本复杂度问题，实现在 Atari 游戏中优异的性能表现。

    Jan, 2023