分类控制系统中的强化学习

Apr, 2024

Reinforcement Learning in Categorical Cybernetics

Jules Hedges, Riu Rodríguez Sakamoto

TL;DR我们展示了强化学习的几个重要算法都适用于范畴控制论的框架，即参数化的双向过程。通过扩展贝尔曼算子到应用于行动 - 值函数并依赖于样本的参数化光学，应用可表示的逆变函子获得一个应用贝尔曼迭代的参数化函数，该函数成为代表模型的另一参数化光学的反向传递，通过代理与环境进行交互。因此，我们的构建中参数化光学以两种不同方式出现，其中一个成为另一个的一部分。我们认为许多强化学习的主要算法类可以看作是这一一般设置的不同极端情况：动态规划、蒙特卡洛方法、时差学习和深度强化学习。我们认为这是这种方法的有力证据，相信它将是未来思考强化学习的一个富有成效的方式。

Abstract

We show that several major algorithms of reinforcement learning (RL) fit into the framework of categorical cybernetics, that is to say, parametrised bidirectional processes. We build on our previous work in which

reinforcement learning categorical cybernetics parametrised optics bellman iteration extremal cases

发现论文，激发创造

组合强化学习的范畴语义

本文利用分类学的方法，构建了一个强化学习的可组合性框架，研究了分解问题为子任务并在这些任务上运用学习策略的方法。文章针对贝尔曼最优方程而研究在组合模型下的可行性，探讨使用一些纤维积和推出操作使得组合现象更明显，并且通过引入的 zig-zag 连线模拟了 MDP 中的连续式任务完成方式。

Aug, 2022

参数化透镜的深度学习

我们提出了一种基于镜头、参数化映射和反向导数范畴的机器学习算法的分类语义学。这一基础提供了一个强大的解释性和统一性框架：它包括了各种梯度下降算法，如 ADAM、AdaGrad 和 Nesterov 动量，以及各种损失函数，如 MSE 和 Softmax 交叉熵，以及不同的架构，揭示了它们的相似性和差异。此外，我们的学习方法超越了熟悉的连续领域的示例（在光滑映射范畴中建模），并且可以应用于布尔电路和多项式电路的离散环境。我们通过 Python 实现展示了我们框架的实际意义。

Mar, 2024

分类分布式强化学习的分析

本文为分布式 RL 算法提出了一个分析 CDRL 算法的框架，证明了投影分布 Bellman 计算器在 distributional RL 中的重要性，从根本上联系 CDRL 和 Cramér 距离，并为基于样本的分类分布式 RL 算法提供了收敛性证明。

Feb, 2018

非参数通用强化学习

本文提出了在非 Markovian、非 ergodic 且只部分可观察的环境下进行强化学习的问题。作者建立了贝叶斯强化学习代理的负面结果，并证明 Thompson 采样在随机环境中是渐进最优的。此外，作者构建了一个大但可计算的类，展示了基于 Thompson 采样的代理在这个类中收敛于任意未知可计算多智能体环境中的纳什均衡。

Nov, 2016

深度学习的基本组成：范畴论方法

这篇论文提出了一种基于范畴论语言的深度学习的新数学基础，通过系统化现有方法并将其概念统一到一个框架中，研究了参数化性和双向性这两个主要性质，并将其应用于 backpropagation、神经网络架构和监督学习的建模中，提供了一个统一和组合的框架。

Mar, 2024

因果强化学习调查

研究人员通过借鉴因果关系文献的见解，引入因果关系和强化学习，划分了现有 Causal Reinforcement Learning (CRL) 方法的两类，并分析了每一类的不同模型的形式化。

Feb, 2023

部分观察多智能体环境下的演员 - 评论家策略优化

本研究讨论了基于梯度上升的策略梯度和演员 - 评论家算法在部分可观测多智能体环境中的角色，并通过对零和不完全信息游戏等模型的建模来优化模型自由多智能体增强学习的表现。

Oct, 2018

利用离散表示进行连续强化学习

通过对离散表示法进行彻底的实证研究，我们发现，与传统连续表示法相比，在世界模型学习、无模型强化学习和连续强化学习问题中，将观测数据表示为分类值向量能更准确地模拟世界，并且使用离散表示法训练的智能体能够更好地学习策略和使用更少的数据，在连续强化学习中表现出更快的适应性。此外，我们的分析表明，性能改进可能归因于潜在向量中包含的信息和离散表示本身的编码方式。

Dec, 2023

可证明高效的部分可观测动态系统强化学习

通过提出一种新的基于双线性 Actor-Critic 框架的学习算法，该算法可以对部分可观察的动态系统进行部分可观察的强化学习，并且在特定的情形下（如欠完备的可观察性模型）具有较高的性能表现。

Jun, 2022

拓扑引导的带时序目标的连续系统演员 - 评论家模块化学习

本文研究了给定线性时间逻辑高级规范的连续状态随机动态系统的正式策略综合问题。通过在动态系统和翻译的自动机之间进行乘积来构造乘积系统，以学习最大化满足概率的最优策略，并在此过程中提出了一种泛化的优化备份顺序，进一步加速了学习过程，在拓扑顺序的情况下提出了一种演员 - 评论家强化学习算法。通过神经网络来近似值和策略函数，并在 Dubins 小车的运动规划上展示了该正式政策综合框架的实证效果。

Apr, 2023