贝叶斯大脑组合理论的数学基础

MMDec, 2022

Mathematical Foundations for a Compositional Account of the Bayesian Brain

Toby St Clere Smithe

TL;DR本篇论文应用类别论工具给出了一种关于主动推理和 Bayesian 大脑的构成性解释，定义了 Bayesian 镜头并且使用它们解释了 Bayesian 升级，在此基础上我们定义了统计游戏的类别，并使用它们对各种统计推理问题进行了分类。同时对开放动态系统进行了一种新的形式化定义，并将它们作为镜头控制的动态系统来解释双向的预测编码神经电路构造。

Abstract

This dissertation reports some first steps towards a compositional account of active inference and the Bayesian brain. Specifically, we use the tools of contemporary applied category theory to supply functorial semantics for approximate inference. To do so, we define on the `syntactic'

active inference bayesian lenses statistical games dynamical systems predictive coding neural circuits

发现论文，激发创造

组合式主动推断 I: 贝叶斯透镜。统计游戏

本文介绍了贝叶斯逆和统计游戏的概念，证明了贝叶斯逆符合组合镜头模式，并使用许多经典的统计概念（从极大似然估计到广义变分贝叶斯方法）来举例说明统计游戏，这是一系列论文中的第一篇，为理论提供了组合账户的基础，因此特别关注具有自由能目标的统计游戏。

Sep, 2021

贝叶斯推理的组合结构

本文研究 Bayesian 推理和马尔可夫核之间的关系，探讨了如何利用范畴论和函数编程的镜像模式将其组合成类型驱动的统计推断方法。

May, 2023

组合式主动推理 II：多项式动力学。近似推理原则

本文通过引入活动，将统计博弈与玩它们的动力系统范畴化，并使用近似推理原理建立起复合理论，最终构建了微分和动态的‘分层推理系统’的放大分类。此外，还描述了‘externally parameterized’ statistical games，并使用它们构建了两个近似推理原理，即‘Laplace’和‘Hebb-Laplace’。前者用于优化高斯模型后验的动力系统，后者则额外优化了用于确定其预测的参数（或‘重量’）的系统。

Aug, 2022

采用紧凑闭范畴和 Frobenius 代数的部分分布语义

本论文提出了三种新的方法，一方面提出了基于 Frobenius 代数的抽象框架的具体实例，另外则提出了一种新的组合算法处理不同级别的词汇歧义，并引入了用于解释词汇歧义的量子力学方法。

May, 2015

深度学习的基本组成：范畴论方法

这篇论文提出了一种基于范畴论语言的深度学习的新数学基础，通过系统化现有方法并将其概念统一到一个框架中，研究了参数化性和双向性这两个主要性质，并将其应用于 backpropagation、神经网络架构和监督学习的建模中，提供了一个统一和组合的框架。

Mar, 2024

古典与量子贝叶斯推断的描绘

本文章提出了一个适用于贝叶斯推断的图形框架，能够容纳标准情况以及最近有关量子贝叶斯推断理论的提议，其中考虑密度算符而非概率分布作为信念度量的代表。该文对对称单调范畴的图形语言，紧凑结构和其中的 Frobenius 结构进行了说明，其中贝叶斯反演简化为相对于适当紧凑结构的转置。同时，我们还介绍了一种类量子的微积分，其中 Frobenius 结构是非交换的，并且可以容纳 Leifer 的 “条件密度算符” 微积分。本文还将条件独立性的概念推广到图形设置，并与贝叶斯网络理论进行了初步联系。最后，我们演示了如何在任何陪距紧凑范畴内构建图形贝叶斯微积分。

Feb, 2011

类别论定量组合式分布式自然语义模型

本文研究了分布语义学中的组合性问题，使用 Coek，Sadrzadeh 和 Clark 提出的范畴理论框架，将语法分析形式主义与分布语义表示法相结合，生成具体的组合式分布式模型，并展示它们在自然语言处理领域的有效性。研究的贡献包括将 DisCoCat 框架拓展到在句法和语义上，验证模型的优势以及提出了在本主题上应用范畴论的未来研究方向。

Nov, 2013

自然语言处理的分类工具

该论文提出了范畴论和计算语言学之间的翻译作为自然语言处理的基础，结合语法、语义和语用三个方面，以字符串图表达统一的句法结构，利用函子将图表达式计算为逻辑、张量、神经或量子计算的语义，通过组成游戏将生成的函子模型进行组合，从而解决语言处理任务。DisCoPy 是用于计算字符串图的 Python 库的一部分，将得到的范畴、语言和计算结构之间的对应关系描述，并通过组合的自然语言处理应用进行演示。

Dec, 2022

范畴深度学习：架构的代数理论

我们提出了一个关于通用框架，用于指定和研究深度学习架构的难题的见解。我们认为目前为止的关键尝试缺乏一个能够将模型必须满足的约束与其实现进行协调的桥梁。我们的提议是应用范畴论 —— 更具体地说，是参数化映射的范畴论，作为一个单一的理论，优雅地包含了这两种类型的神经网络设计。为了支持我们的观点，我们展示了这个理论如何恢复由几何深度学习引起的约束，并介绍了从神经网络的多样化领域中提取的许多架构的实现，如递归神经网络。我们还说明了这个理论如何自然地编码计算机科学和自动机理论中的许多标准结构。

Feb, 2024

具范畴组合分布语义双代数的自然语言广义量词理论

本文使用分类组成分布语义模型（categorical compositional distributional semantics）结合 Barwise 和 Cooper 的广义量词理论，进行了基于生成语法形式化的抽象范畴组成语义学习。并证明了基于集合的关系实例化的等价性，以及基于向量空间的实例化的有效性。

Feb, 2016