我们提出了一个关于通用框架，用于指定和研究深度学习架构的难题的见解。我们认为目前为止的关键尝试缺乏一个能够将模型必须满足的约束与其实现进行协调的桥梁。我们的提议是应用范畴论 —— 更具体地说，是参数化映射的范畴论，作为一个单一的理论，优雅地包含了这两种类型的神经网络设计。为了支持我们的观点，我们展示了这个理论如何恢复由几何深度学习引起的约束，并介绍了从神经网络的多样化领域中提取的许多架构的实现，如递归神经网络。我们还说明了这个理论如何自然地编码计算机科学和自动机理论中的许多标准结构。

Feb, 2024

我们提出了一种基于镜头、参数化映射和反向导数范畴的机器学习算法的分类语义学。这一基础提供了一个强大的解释性和统一性框架：它包括了各种梯度下降算法，如 ADAM、AdaGrad 和 Nesterov 动量，以及各种损失函数，如 MSE 和 Softmax 交叉熵，以及不同的架构，揭示了它们的相似性和差异。此外，我们的学习方法超越了熟悉的连续领域的示例（在光滑映射范畴中建模），并且可以应用于布尔电路和多项式电路的离散环境。我们通过 Python 实现展示了我们框架的实际意义。

Mar, 2024

本文提出了一种基于 lens、参数化映射和反向导数类别的梯度机器学习算法的范畴语义学方法。该方法不只包含了 ADAM、AdaGrad 和 Nesterov momentum 等多种梯度下降算法，还将 MSE 和 Softmax 交叉熵等多种损失函数包含在内，从而阐明它们的相似性和差异性。同时，该方法不仅适用于连续域，还可以推广到布尔电路的离散设定。此外，文中还以 Python 语言实现了该方法的具体应用。

Mar, 2021

本篇论文应用类别论工具给出了一种关于主动推理和 Bayesian 大脑的构成性解释，定义了 Bayesian 镜头并且使用它们解释了 Bayesian 升级，在此基础上我们定义了统计游戏的类别，并使用它们对各种统计推理问题进行了分类。同时对开放动态系统进行了一种新的形式化定义，并将它们作为镜头控制的动态系统来解释双向的预测编码神经电路构造。

Dec, 2022

我们描述了深度学习数学分析的新领域，涉及到超参数神经网络的普适性，深度对于网络的作用，感知问题的缺失，问题优化性能的成功和架构的各个方面对学习任务的影响，并提供了现代方法的概述和详细的主要思想。

May, 2021

本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

Jun, 2021

我们扩展了代数规范方法以解决从不同模型中提取的知识的集成问题，并且通过将图形结构与 Ehresmann 的素描结构相结合，提出了一个统一的理论，它能够优雅地包含确定性和非确定性神经网络设计的基本概念。这个拓展的代数规范框架为跨不同模型和领域的知识集成提供了一个有希望的解决方案。

Apr, 2024

介绍了深度学习和神经网络模型（如卷积神经网络、递归神经网络、生成对抗网络）以及训练技术（如随机梯度下降、dropout、批量归一化）的统计学观点，强调了深度学习的新特征（包括深度和过参数化）及其实际和理论上的好处，同时探讨了深度学习的理论基础和最新研究成果；期望为新的统计研究提供一种思路。

Apr, 2019

本文介绍了 DisCoPyro 作为一种结构学习框架，将范畴论结构（例如对称幺半范畴和操作符）与分摊变分推断相结合，可以应用于变分自动编码器等机器学习任务中，并提供了数学基础和具体应用，比较了与其他模型（如神经符号模型）的实验性能，预测 DisCoPyro 最终有助于人工通用智能的发展。

Mar, 2023

该论文提出了范畴论和计算语言学之间的翻译作为自然语言处理的基础，结合语法、语义和语用三个方面，以字符串图表达统一的句法结构，利用函子将图表达式计算为逻辑、张量、神经或量子计算的语义，通过组成游戏将生成的函子模型进行组合，从而解决语言处理任务。DisCoPy 是用于计算字符串图的 Python 库的一部分，将得到的范畴、语言和计算结构之间的对应关系描述，并通过组合的自然语言处理应用进行演示。

Dec, 2022