本文提出了一种基于 lens、参数化映射和反向导数类别的梯度机器学习算法的范畴语义学方法。该方法不只包含了ADAM、AdaGrad和Nesterov momentum等多种梯度下降算法,还将MSE和Softmax交叉熵等多种损失函数包含在内,从而阐明它们的相似性和差异性。同时,该方法不仅适用于连续域,还可以推广到布尔电路的离散设定。此外,文中还以Python语言实现了该方法的具体应用。
Mar, 2021
本文提出了一种新的度量标准,名为partial AUTKC,可以更好地区分不同分类。同时,论文还提出了一种用于优化该度量标准的框架,并在四个基准数据集上进行了实验证明其有效性。
Sep, 2022
通过分类理论,我们证明了基础模型可以通过fine tuning和足够的资源解决下游任务,但只有当这些任务是可表示的;同时,我们提供了一种基于范畴论的监督学习和自监督学习框架,该框架可能具有独立的兴趣。
Nov, 2022
本文介绍了DisCoPyro作为一种结构学习框架,将范畴论结构(例如对称幺半范畴和操作符)与分摊变分推断相结合,可以应用于变分自动编码器等机器学习任务中,并提供了数学基础和具体应用,比较了与其他模型(如神经符号模型)的实验性能,预测DisCoPyro最终有助于人工通用智能的发展。
Mar, 2023
该论文提出了一种基于范畴论的新型深度学习应用,通过范畴论构建了一种比原始构建方式更为丰富的结构,能够更好地理解和处理群等变神经网络的线性层函数,特别地,提出了一种快速计算通过群等变线性层的传入向量结果的算法,证明了范畴论能够对深度学习的其他领域产生积极的影响。
Apr, 2023
使用丰富范畴论为基础构建了一种新型机器学习算法,该算法仅使用丰富范畴论;通过一系列关于数据集的合理假设构建了最近邻算法,其中利用了范畴中的Lawvere度量空间的协函子对扩展原始数据集;从而定义了一种丰富最近邻算法,并产生了一个丰富的Voronoi图。本文旨在让无范畴论知识的读者也能理解。
Dec, 2023
这篇论文提出了一种基于范畴论语言的深度学习的新数学基础,通过系统化现有方法并将其概念统一到一个框架中,研究了参数化性和双向性这两个主要性质,并将其应用于 backpropagation、神经网络架构和监督学习的建模中,提供了一个统一和组合的框架。
Mar, 2024
通过引入Token Space框架,该研究介绍了一种新的数学构造,旨在通过范畴论的运用提高深度学习模型的可解释性和效能。
Apr, 2024
本文综述了源自范畴理论的机器学习,涵盖了四个主流视角:基于梯度的学习、基于概率的学习、基于不变性和等价性的学习,以及基于拓扑的学习。特别是首次探讨了高阶范畴理论,尤其是拓扑理论在机器学习中的应用,揭示了趣味性和深刻性的全局与局部结构之间的关系。
Aug, 2024
本研究解决了机器学习模型在应对复杂变换时的鲁棒性和泛化能力问题,提出了一种结合高阶对称性和类别理论的新框架。通过引入超对称类别和函子表示,研究表明这种对称强化学习模型显著提升了现代机器学习算法的理论基础和实际应用能力,推动了相关研究和创新的新方向。
Sep, 2024