弦图中的主动推理:预测处理和自由能的范畴学解析
我们介绍了结构化主动推理,这是使用范畴系统理论的一种大规模推演和形式化主动推理。我们将生成模型形式化地表现为 “在接口上” 的系统,并将接口看作通常的马尔科夫毯的组合抽象;而代理是它们生成模型的 ' 控制器 ',与它们形式上是对偶的。这为主动推理开辟了新的研究领域,例如:具有结构化接口的代理(例如,具有 ' 模式依赖性 ' 或与计算机 API 交互的代理);可以管理其他代理的代理;以及使用主动推理来更改其(内部或外部)结构的 “元代理”。通过使用结构化接口,我们还获得了结构化(' 类型化 ')策略,这些策略便于形式验证,这是实现安全人工智能代理的重要一步。此外,我们可以利用范畴逻辑将代理的目标描述为形式化的谓词,其满足性可能取决于交互环境。这指向了强大的组合工具,用于限制和控制自组织代理集合。
Jun, 2024
该论文提出了范畴论和计算语言学之间的翻译作为自然语言处理的基础,结合语法、语义和语用三个方面,以字符串图表达统一的句法结构,利用函子将图表达式计算为逻辑、张量、神经或量子计算的语义,通过组成游戏将生成的函子模型进行组合,从而解决语言处理任务。DisCoPy 是用于计算字符串图的 Python 库的一部分,将得到的范畴、语言和计算结构之间的对应关系描述,并通过组合的自然语言处理应用进行演示。
Dec, 2022
本文引入了字符串图表语言解释的因果模型框架,并呈现了其在方向无环图的应用以及如何作为单个数学对象来思考。通过引入具有 “复制 - 丢弃” 结构的对称膜范畴 (cd - 范畴) 中的随机映射、函数或通道,我们将单纯因果模型的概念推广为基于网络图的因果模型和泛函因果模型的定义,并对一般干预、开放式因果模型进行了讨论及定义。同时,本文还定义了马尔可夫条件、逆因果与反事实关系等概念,并设计了一个基于归一化框的条件推断方法诠释因果效应与反事实关系的可辨认性问题。该研究具有广阔的应用领域和教育意义。
Apr, 2023
通过对单个根期望自由能定义的问题进行形式化,本文研究了两个设置,其中每个设置都有其自己的根期望自由能定义。在第一个设置中,尚未提出任何关于期望自由能的正当化,但所有公式都可以从中恢复出来。然而,在这个设置中,代理不能对观测进行任意先验偏好,只有与生成模型的似然映射相兼容的观测先验偏好的有限类才能赋予。在第二个设置中,已经知道根期望自由能定义的正当化,但该设置仅涵盖两种表达方式,即风险加上不确定性和熵加期望能量的表达方式。
Feb, 2024
本篇论文应用类别论工具给出了一种关于主动推理和 Bayesian 大脑的构成性解释,定义了 Bayesian 镜头并且使用它们解释了 Bayesian 升级,在此基础上我们定义了统计游戏的类别,并使用它们对各种统计推理问题进行了分类。同时对开放动态系统进行了一种新的形式化定义,并将它们作为镜头控制的动态系统来解释双向的预测编码神经电路构造。
Dec, 2022
本文通过引入活动,将统计博弈与玩它们的动力系统范畴化,并使用近似推理原理建立起复合理论,最终构建了微分和动态的‘分层推理系统’的放大分类。此外,还描述了‘externally parameterized’ statistical games,并使用它们构建了两个近似推理原理,即‘Laplace’和‘Hebb-Laplace’。前者用于优化高斯模型后验的动力系统,后者则额外优化了用于确定其预测的参数(或‘重量’)的系统。
Aug, 2022
本文利用类别和语言之间的类比,定义了一个概率生成模型,用于特定领域生成对象和态射,证明了无环有向连通图可以模拟态射的规范,并使用后验变分推断实现了参数学习和隐变量推理。通过实验表明,自由范畴先验在 Omniglot 数据集上实现了有竞争力的重建性能。
May, 2022
本文介绍了 Active Inference (AIF) 作为 Free Energy Principle (FEP) 的一个结果,并给出了一个利用特定自由能泛函的局部版本的 FEP,使其适用于任意图形模型,为构建具有限制的平衡图提供了一种新的途径。同时,还介绍了利用 CFFG 实现 AIF 的先前算法,并介绍了一种允许 AIF 代理的直接策略推断的新算法,以解决长期以来阻碍 AIF 在工业应用中发挥作用的扩展问题。
Jun, 2023