Mar, 2024

全面神经符号视觉强化学习与语言解释

PDF
TL;DR该研究介绍了一种神经符号强化学习（Neuro-symbolic reinforcement learning，NS-RL）的框架，通过将视觉基础模型精简为可扩展的感知模块，可以同时学习结构化状态和符号策略，并使用大型语言模型生成简明易读的策略和决策解释，实验结果显示在九个 Atari 任务中，该方法相比现有的 NS-RL 方法获得显著的性能提升，并展示了策略和决策的解释。
neuro-symbolic reinforcement learninginterpretabilitystructured representationsefficiency bottlenecklanguage explanations
发现论文，激发创造
  • 一阶逻辑中的神经符号强化学习

    为了在文本角色扮演游戏中实现快速收敛和可解释的知识表示，我们提出了一种新的基于逻辑神经网络的强化学习方法，该方法可以从文本观察中提取一阶逻辑事实并使用逻辑算子训练策略，实验结果表明该方法比其他基于神经元符号框架的方法更快收敛。

    Oct, 2021

  • 具有可解释模型和策略网络的神经符号强化学习的三个路径

    神经符号人工智能结合经典符号方法的可解释性、简洁性和显式推理与数据驱动神经方法的统计学习。本文在实际强化学习环境中展示了实现此类模型和策略的三个途径，并探讨了逻辑、模拟和学习的潜力和困难，以及与可学习性和可解释性之间的权衡关系。

    Feb, 2024

  • 深度可解释关系强化学习：神经符号方法

    提出了一种新的框架 Deep Explainable Relational Reinforcement Learning (DERRL)，它结合了神经网络和符号世界的优势来提取可解释的策略。通过在倒计时游戏、积木世界、网格世界和交通等不同环境中的实验证明，DERRL 可以适用于不同的配置和情境，从而具有通用性。

    Apr, 2023

  • 神经符号强化学习与规划：综述

    本文通过进行文献调查，以三个构成神经符号强化学习的组件为重点（神经网络、符号和强化学习），将研究作品进行分类，并分析其强化学习部分的组成。同时，发现了该领域中的研究机会和挑战。

    Sep, 2023

  • 具有内省修正的神经符号自然逻辑用于自然语言推理

    本文介绍了一个基于强化学习和内省修订的神经符号自然逻辑框架，通过策略梯度对特定推断路径进行采样和奖励，并利用外部知识缓解虚假推理和训练低效问题。该模型具有内在的可解释性，在单调性推理、系统泛化和可解释性方面表现出优越能力，相对于先前的模型在现有数据集上表现更好。

    Mar, 2022

  • 自然语言强化学习

    强化学习和自然语言表示相结合的自然语言强化学习 (NLRL) 框架在解决样本效率低、解释性差、稀疏监督信号等问题方面表现出了显著的能力。通过在自然语言空间重新定义强化学习的概念和原则，以及结合大型语言模型的先进技术如 GPT-4 的实现方式，NLRL 在标签驱动的 MDPs 上的初步实验证明了该框架的有效性、效率以及可解释性。

    Feb, 2024

  • S-REINFORCE: 一种神经符号化策略梯度方法，用于可解释的强化学习

    该研究提出一种新的强化学习算法 S-REINFORCE，旨在为动态决策任务产生可解释的策略，该算法利用神经网络（NN）和符号回归器（SR）两种类型的函数逼近器来生成数值和符号策略，分别捕捉 NN 组件学到的生成可能动作的数值概率分布以及 SR 组件捕捉关联状态和动作概率之间功能形式，并将其结合起来从而实现对决策问题的求解。实验结果表明 S-REINFORCE 算法在低维度和高维度决策空间的动态决策问题上都具有高效性和影响力，并且所得到的策略不仅性能良好，而且容易理解，是透明度和因果关系至关重要的实际应用的理想选择。

    May, 2023

  • 具有形式验证探索的神经符号强化学习

    提出 Revel：一种部分神经强化学习（RL）框架，用于在连续状态和动作空间中保证安全探索。通过两个策略分类来解决神经网络验证中的计算难题，并将学习算法投射到安全符号子集中，从而实现不需要显式验证神经网络的安全探索。实验结果显示，Revel 能在许多场景中实现安全探索，并能发现优于以往验证探索方法的政策。

    Sep, 2020

  • 通过神经引导的符号抽象获得可解释的逻辑策略

    研究介绍了一种基于神经网络和可微逻辑的方法，旨在同时实现可解释性和解释性，引入了物理引导的可微分逻辑策略，评估表明其在识别可解释的策略方面比仅使用神经策略更加优越。

    Jun, 2023

  • SDRL：利用符号计划的可解释且数据高效的深度强化学习

    该研究提出了一种符号深度强化学习（SDRL）框架，该框架通过引入符号规划来实现任务层面的可解释性，并运用计划器 - 控制器 - 元控制器架构进行子任务调度、数据驱动子任务学习和子任务评估，实现与长期规划能力、符号知识以及直接从高维感官输入进行端到端强化学习的优点相结合，并在实验结果中证实了子任务可解释性与与现有技术相比的数据效率改进。

    Oct, 2018