GALOIS: 通过可推广逻辑综合增强深度强化学习

May, 2022

GALOIS: 通过可推广逻辑综合增强深度强化学习

GALOIS: Boosting Deep Reinforcement Learning via Generalizable Logic Synthesis

Yushi Cao, Zhiming Li, Tianpei Yang, Hao Zhang, Yan Zheng...

TL;DR本文提出了一个新颖的通用逻辑合成（GALOIS）框架，通过程序草图和定义新的基于草图的混合程序语言来引导逻辑合成，自动生成高层次和严格因果逻辑的白盒程序，GALOIS 在各种具有复杂逻辑的决策任务上展示了优越的性能、可推广性和知识可重复利用性。

Abstract

Despite achieving superior performance in human-level control problems, unlike humans, deep reinforcement learning (DRL) lacks high-order intelligence (e.g., logic deduction and reuse), thus it behaves ineffectively than humans regarding learning and generalization in complex problems.

deep reinforcement learning logic synthesis hierarchical logic program sketch generalizability

发现论文，激发创造

神经逻辑强化学习

本文提出了一种名为神经逻辑强化学习（NLRL）的新算法，基于策略梯度方法和可微分归纳逻辑编程，通过一阶逻辑来表示强化学习中的策略，解决了深度神经网络难以解释和学习泛化能力低的问题。实验表明，该算法可以在不同的环境下归纳出解释性强且性能接近最优的策略。

Apr, 2019

逻辑导向的深度强化学习在股票交易中的应用

本文提出了一种名为 SYENS 的新型逻辑引导交易框架，它通过程序合成和层次化交易策略在动态股市中稳定地行为。实验证明，SYENS 在现金交易和保证金交易设置下，在累积收益和最大回撤方面都明显优于基准。

Oct, 2023

AISYN: 基于强化学习的人工智能逻辑综合框架

通过应用强化学习算法，可以更好地解决逻辑综合中的局部最小值问题，从而实现对细胞面积等重要指标的显著优化。

Feb, 2023

通过任务时间逻辑和深度强化学习实现系统化概括

介绍了一种将深度强化学习与时间逻辑相结合的神经符号代理，以实现形式化规定指令的系统性零射 (就是指未曾见过的情况)。研究证明，卷积层的架构在泛化新指令时发挥了关键作用，并证明通过学习少量训练样例，可以从抽象操作符中实现系统化的学习。

Jun, 2020

DRiLLS: 深度强化学习用于逻辑综合

提出了一种基于强化学习的方法，自动化优化逻辑综合过程，通过训练 Actor Critic（A2C）智能体来实现无人工干预的设计优化，取得了较好的优化结果。

Nov, 2019

基于程序综合的混合优化强化学习方法

本论文提出一种 MORL 的框架，通过程序合成技术实现对基于神经网络的黑箱模型深度强化学习策略的改进，得到符号表示形式，使其可以被手动或自动调试，经过行为克隆和梯度下降法的改进，不断迭代直到满足所需约束，在 CartPole 问题上的实例研究表明该方法能够进行高效的策略学习改进。

Jul, 2018

逻辑指导生成的抽象推理

该研究提出了一种基于命题逻辑的生成模型 (LoGe)，它提供了更高效的生成抽象推理答案的方法，并在 RAVEN 基准测试中超越了黑盒深度神经网络的表现。

Jul, 2021

基于网格的强化学习环境中的通用和可解释知识学习

使用程序合成方法对深度强化学习代理进行模仿，以了解其学习的概念和决策过程。

Sep, 2023

从规约中归纳推理的强化学习

我们提出了一个新颖的归纳一般化框架，用于从逻辑规范中进行强化学习。该框架通过利用归纳任务之间的关系，学习生成适应归纳任务实例的策略生成器，以实现对长期任务中未见策略的广义化。

Jun, 2024

可解释的生成对抗拟态学习

提出了一种新颖的模仿学习方法，结合了信号时态逻辑（STL）推理和控制综合，能够明确地表示任务作为一个 STL 公式，在理解学习代理的具体任务方面提供了清晰的理解，并通过手动调整 STL 公式将人类知识纳入，以便适应新的场景。此外，我们采用了生成对抗网络（GAN）受启发的训练方法，既能进行推理，又能进行控制策略，有效地缩小了专家策略和学习策略之间的差距。通过两个案例研究，证明了我们算法的有效性，展示了其实际应用性和适应性。

Feb, 2024