Aug, 2022

强化学习代理策略理解与可视化框架

PDF
TL;DR本研究提出了一个框架，用于学习顺序决策任务的可理解模型，通过时间逻辑公式表征代理策略，并使用一个嵌入方法对代理足迹进行聚类，得出在不同的聚类中解释代理策略的逻辑公式，通过编写一个特征提取器和一个可视化工具，对在 StarCraft II 中的战斗场景进行了评估，实验结果表明，本框架可以将代理足迹分为不同的行为组，并为每个行为组提供一致、有意义且易于理解的策略描述。
explainable aisequential decision taskstemporal logic formulasclusterstrategy inference
发现论文，激发创造
  • REVEAL-IT: 可解释性的具备进化 Agent 策略的增强学习

    在本文中，我们提出了 REVEAL-IT 框架，用于解释复杂环境中代理人的学习过程。我们通过可视化策略结构和代理人在各种训练任务中的学习过程来理解一个特定的训练任务或阶段对代理人在测试中的性能有多大影响。然后，基于图神经网络的解释器学习突出策略中最重要的部分，提供更清晰和更强大的解释代理人学习过程的工具。实验证明，从该框架获得的解释能够有效帮助优化。

    Jun, 2024

  • 基于状态转移模型的基于特征的可解释强化学习

    提出了一种基于状态转移模型的强化学习局部可解释风险的方法，并通过实验证明了其有效性。

    May, 2021

  • 多智能体强化学习的策略解释

    本文介绍了针对多智能体强化学习提出两种方法生成策略解释的手段：关于智能体协作和任务序列的策略总结和回答智能体行为问题的语言解释。在三个多智能体应用领域的实验结果及用户研究中，表明了该方法的可扩展性和显著提高了使用者满意度和性能评价结果。

    Apr, 2022

  • 可解释多智能体强化学习应用于时间查询

    该研究提出了一种基于 PCTL 逻辑公式和概率模型检验的方法，用于为多智能体强化学习系统（MARL）生成策略级对比解释以回答时间用户查询，以帮助用户理解复杂环境中 MARL 代理的新兴行为，并能够解释为何用户查询不可行。实验表明，该方法有效提高了用户的性能与满意度。

    May, 2023

  • 多任务强化学习中的层次和可解释技能获取

    本文提出了一种用于有效的多任务强化学习的新框架，该框架可以训练代理人使用分层策略，决定何时使用先前学习的策略和何时学习新技能。该方法通过给代理人提供随机时间语法来帮助代理人学习分层策略中必要的复杂时间依赖关系，并在 Minecraft 游戏中进行了验证。

    Dec, 2017

  • 面向可解释性策略模板的自然语言处理变换器

    通过利用自然语言处理技术和大型语言模型（LLMs）的 Transformer，本文介绍了如何将深度强化学习 (DRL) 策略的部分转化为用户友好、类人的英文叙述，涉及到对策略模板的数学表达式进行解析、语义解释变量和结构、生成基于规则的主要解释，以及利用预训练的生成式 Transformer（GPT）模型对解释进行改进和置于上下文。通过在一个示例中的后续定制和细致的验证过程，展示了这种方法的适用性和潜力。

    Nov, 2023

  • 可解释化多智能体强化学习的概念学习

    本文介绍了一种将领域专家的可解释概念纳入到多智能体强化学习模型中的方法，以提高模型的解释性和稳定性，提高性能和样本效率。

    Feb, 2023

  • 通过模型转换的可解释强化学习

    通过使用形式化的马尔科夫决策过程抽象和转换，以自动产生解释的方式，解释强化学习智能体的新兴行为。

    Sep, 2022

  • 强化学习中的可解释性：观点和立场

    本文系统地概述了现有的可解释强化学习方法，提出了一个新的统一分类方法，并建立了三个支柱来减少解释生成和接收方之间的差距并实现解释的诚实和真实性。

    Mar, 2022

  • 高水平机器人解释的奖励分解探究

    本文提出利用抽象动作和奖励分解技术的可解释学习框架，使得机器人动作的解释更易于人类理解，并通过两个场景的定量和定性分析，展示了该框架的有效性。

    Apr, 2023