Mar, 2024

参数化透镜的深度学习

PDF
TL;DR我们提出了一种基于镜头、参数化映射和反向导数范畴的机器学习算法的分类语义学。这一基础提供了一个强大的解释性和统一性框架：它包括了各种梯度下降算法，如 ADAM、AdaGrad 和 Nesterov 动量，以及各种损失函数，如 MSE 和 Softmax 交叉熵，以及不同的架构，揭示了它们的相似性和差异。此外，我们的学习方法超越了熟悉的连续领域的示例（在光滑映射范畴中建模），并且可以应用于布尔电路和多项式电路的离散环境。我们通过 Python 实现展示了我们框架的实际意义。
发现论文，激发创造
  • 基于梯度的学习的范畴基础

    本文提出了一种基于 lens、参数化映射和反向导数类别的梯度机器学习算法的范畴语义学方法。该方法不只包含了 ADAM、AdaGrad 和 Nesterov momentum 等多种梯度下降算法，还将 MSE 和 Softmax 交叉熵等多种损失函数包含在内，从而阐明它们的相似性和差异性。同时，该方法不仅适用于连续域，还可以推广到布尔电路的离散设定。此外，文中还以 Python 语言实现了该方法的具体应用。

    Mar, 2021

  • 深度学习的基本组成：范畴论方法

    这篇论文提出了一种基于范畴论语言的深度学习的新数学基础，通过系统化现有方法并将其概念统一到一个框架中，研究了参数化性和双向性这两个主要性质，并将其应用于 backpropagation、神经网络架构和监督学习的建模中，提供了一个统一和组合的框架。

    Mar, 2024

  • 范畴深度学习：架构的代数理论

    我们提出了一个关于通用框架，用于指定和研究深度学习架构的难题的见解。我们认为目前为止的关键尝试缺乏一个能够将模型必须满足的约束与其实现进行协调的桥梁。我们的提议是应用范畴论 —— 更具体地说，是参数化映射的范畴论，作为一个单一的理论，优雅地包含了这两种类型的神经网络设计。为了支持我们的观点，我们展示了这个理论如何恢复由几何深度学习引起的约束，并介绍了从神经网络的多样化领域中提取的许多架构的实现，如递归神经网络。我们还说明了这个理论如何自然地编码计算机科学和自动机理论中的许多标准结构。

    Feb, 2024

  • 学习者的语言

    本文通过多项式函子和拓扑学中的动力系统的内部语言阐述了 backpropagation，梯度下降以及强单调函子等一些概念的关系。

    Mar, 2021

  • 分类控制系统中的强化学习

    我们展示了强化学习的几个重要算法都适用于范畴控制论的框架，即参数化的双向过程。通过扩展贝尔曼算子到应用于行动 - 值函数并依赖于样本的参数化光学，应用可表示的逆变函子获得一个应用贝尔曼迭代的参数化函数，该函数成为代表模型的另一参数化光学的反向传递，通过代理与环境进行交互。因此，我们的构建中参数化光学以两种不同方式出现，其中一个成为另一个的一部分。我们认为许多强化学习的主要算法类可以看作是这一一般设置的不同极端情况：动态规划、蒙特卡洛方法、时差学习和深度强化学习。我们认为这是这种方法的有力证据，相信它将是未来思考强化学习的一个富有成效的方式。

    Apr, 2024

  • 不同 iable 透镜：在玻璃表面和材料上进行复合透镜搜索，用于对象检测

    通过可微分的球形镜头仿真模型和量化连续玻璃变量，结合精心设计的制造限制，提出了一种优化策略来设计具有改进成像质量的镜头，以支持终端到端的设计环境，实现对焦平面险些损失不凸的损失函数景观的优化，论文中的实验结果表明，即使简化为二或三元镜头，也能实现改进的检测性能，同时显著降低了图像质量。

    Dec, 2022

  • 朝着能够看见的语言模型：通过自然语言镜头看计算机视觉

    LENS 是一种模块化的方法，针对计算机视觉问题，利用大型语言模型进行推理，可以应用于零 / 少样本对象识别，以及视觉和语言问题。

    Jun, 2023

  • 深层参数连续卷积神经网络

    本文提出了可操作非网格结构数据的一种新的可学习算子 —— 参数化连续卷积，并在室内外场景的点云分割和驾驶场景的激光雷达运动估计中实验证明，相较于现有技术有显著提升。

    Jan, 2021

  • 机器学习中的范畴计算

    本文介绍了 DisCoPyro 作为一种结构学习框架，将范畴论结构（例如对称幺半范畴和操作符）与分摊变分推断相结合，可以应用于变分自动编码器等机器学习任务中，并提供了数学基础和具体应用，比较了与其他模型（如神经符号模型）的实验性能，预测 DisCoPyro 最终有助于人工通用智能的发展。

    Mar, 2023

  • 从连续视角看机器学习

    我们提出了机器学习的连续形式，作为经典数值分析中变分计算与微分积分方程问题的解决方法，演示了如何通过离散化来恢复传统的机器学习模型和算法，同时展示了从这种连续形式自然产生的新模型和新算法。并讨论了如何在这个框架下研究泛化误差和隐式正则化问题。

    Dec, 2019