Jul, 2023

REX：AI代理的快速探索与利用

HTML
PDF
TL;DR我们在本文中提出了一种增强的Rapid Exploration and Exploitation for AI Agents方法，称为REX。该方法通过引入额外的奖励层和集成类似于Upper Confidence Bound (UCB)分数的概念，提高了AI代理的性能。通过与Chain-of-Thoughts(CoT)和Reasoning viA Planning(RAP)等现有方法进行对比分析，REX方法表现出相当甚至超过这些现有技术所取得的结果。值得注意的是，REX方法在执行时间上显著减少，提高了在多种情景中的实际适用性。
发现论文，激发创造
  • 通过一组寻求新颖性智能体的群体改进演化策略在深度强化学习中的探索

    本文结合高效的进化策略算法（ES）、直接探索策略和进化智能技术，提出了一种新型快速可扩展的在深度强化学习任务中进行探索的算法，通过在Atari游戏和机器人学习领域的实验验证，提高了ES在稀疏或陷阱型的深度RL任务中的表现。

    Dec, 2017

  • Go-Explore：一种解决困难探索问题的新方法

    采用记忆、回归与模拟学习等技术结合的算法Go-Explore在复杂探索问题上有了显著提高，打破了Montezuma's Revenge甚至超越了Pitfall的人类高分纪录，为强化学习领域提供了新思路。

    Jan, 2019

  • 生成式探索与利用

    本文提出了一种新方法Generative Exploration and Exploitation（GENE），通过自动生成初始状态鼓励代理探索环境并利用接收到的奖励信号，可以自适应地在探索和利用之间进行权衡并与任何强化学习算法结合使用，实证表明GENE在三个只有二进制奖励的任务中明显优于现有方法，并验证了渐进式探索和自动反转的出现。

    Apr, 2019

  • 连续状态空间中的显式探索-利用算法

    提出了一种基于模型的强化学习算法，该算法包括明确的探索和利用阶段，并适用于大规模或无限状态空间，该算法维护一组与当前体验一致的动态模型，并通过查找在状态预测之间引起高度分歧的策略来进行探索，然后利用精细化的模型或在探索过程中收集的体验，我们证明，在实现和最优规划的假设下，我们的算法能够用多项式结构复杂度度量在很多自然设置中得到完美的政策，并给出了一个使用神经网络的实用近似，并证明了它在实践中的性能和样本效率。

    Nov, 2019

  • 先探索，再利用：元学习智能探索

    提出了一种新的元强化学习框架（First-Explore），它有两个策略：一个策略仅学习探索，另一个策略仅学习开发，该方法避免了尝试同时进行探索和开发的冲突，解决了普通RL和元RL方法中学习智能探索的核心障碍，提高了样本效率，并在需要牺牲奖励的领域中优于传统RL和元RL方法，从而可以学习人类级别的探索，解决具有挑战性的未知难探索领域。

    Jul, 2023

  • AMAGO：面向自适应代理的可扩展上下文强化学习

    AMAGO是一个上下文强化学习代理，使用序列模型解决泛化、长期记忆和元学习的挑战，通过重新设计离策略上下文方法，能够训练长序列Transformer以整合端到端强化学习，在元强化学习和长期记忆领域展现出强大的实证性能，并且在稀疏奖励和离策略数据方面的专注使得上下文学习能够扩展到具有具有挑战性探索要求的目标条件问题。

    Oct, 2023

  • 无标签先验数据加速探索

    从稀疏奖励信号学习解决任务是标准强化学习算法的一个重大挑战。然而，在现实世界中，代理很少需要完全从头开始解决稀疏奖励任务。本研究探讨了如何利用没有奖励标签的先前数据来指导和加速代理解决新的稀疏奖励任务，并提出了一种简单的方法，通过在线经验学习奖励模型，使用乐观奖励对未标记的先前数据进行标记，并与在线数据同时用于下游策略和评论家优化。研究结果表明，将未标记的先前数据纳入现有的在线强化学习算法非常容易，并且这样做的效果出乎意料地好。

    Nov, 2023

  • 调查-巩固-利用：一种面向任务间代理自进化的通用策略

    通过Investigate-Consolidate-Exploit（ICE）策略，本文介绍了一种提高AI代理的适应性和灵活性的新方法。与现有的针对任务内学习的方法不同，ICE促进了任务间知识的转移，实现了真正的自我演化，类似于人类的经验学习。通过动态调查、整合简化工作流程和流水线，并利用它们改进任务执行，我们在XAgent框架上的实验证明了ICE的有效性，将API调用量减少了80％，并显著降低了模型能力的需求。尤其是与GPT-3.5结合使用时，ICE在各种代理任务上的性能与原始GPT-4相匹配。我们认为这种自我演化的方法代表了代理设计的范式转变，为更健壮的AI社区和生态系统做出了贡献，距离完全自主更近了一步。

    Jan, 2024

  • 进化计算中基于深度强化学习的自动配置探索-开发平衡

    基于深度强化学习的框架可自动配置和调整探索-利用平衡 (EET)，以提升进化计算算法的性能和泛化能力。通过在CEC2021基准上进行实验证明，在多个问题类别、维度和种群规模上，该框架显著改善了现有算法的性能，并提供了对EET问题的深入分析。

    Apr, 2024

  • 探索前进：在深度强化学习中利用探索进行泛化

    提供一种新的方法Explore-Go，通过增加代理训练的状态数目，从而有效地增加代理的起始状态分布，以提高强化学习中的泛化性能。

    Jun, 2024