Oct, 2017

自动求导的线性代数

PDF
TL;DR介绍了如何将一些矩阵分解运算（如 Cholesky、LQ 和对称特征值分解）实现为可微分操作符，并将其在 MXNet 上实现。这使得许多基本的机器学习原语（如高斯过程、最小二乘估计、主成分分析和卡尔曼平滑）易于实现并与深度神经网络（DNN）相结合，优化效率和运行时间。
deep learningneural networksmatrix decompositionbayesian regressionmxnet
发现论文，激发创造
  • 大矩阵的函数梯度

    通过导出 Lanczos 和 Arnoldi 迭代的未知共轭系统，该研究利用 JAX 实现了用于科学机器学习模型的数值线性代数效率高的可微分算法，该算法成功地不需要特定问题的代码优化，并在不同领域如选取高斯过程模型和校准贝叶斯神经网络中表现出与其他常见方法相当甚至更好的效果。

    May, 2024

  • MXNet：一个灵活高效的异构分布式机器学习库

    MXNet 是一种多语言的机器学习库，可以在各种异构系统上运行，并支持深度神经网络应用，其 API 设计和系统实现均提供了符号表达式和张量运算的自动微分。

    Dec, 2015

  • 使用 Transformers 进行线性代数

    通过例子，Transformer 可以学习执行数字计算。作者从基本矩阵操作到特征值分解和求逆，研究了线性代数的九个问题，并引入和讨论了四种编码方案以表示实数。通过使用随机矩阵训练的 Transformers 在所有问题上都能达到高的准确度，并且它们的模型对噪声具有鲁棒性，在训练分布之外也具有泛化能力。特别是，针对 Laplace 分布的特征值进行训练的模型对不同类别的矩阵具有泛化能力：Wigner 矩阵或具有正特征值的矩阵。反之则不成立。

    Dec, 2021

  • 无特征分解训练基于深度网络的线性最小二乘问题

    本文通过一种去除特征值分解的方法，解决了深度学习框架中的一个困境：如何在网络中显式编码已知的几何概念，并演示了此方法在多种实际情况下的鲁棒性和性能优越性。

    Apr, 2020

  • 学习优化张量程序

    该论文介绍了一个基于深度学习工作负载的张量程序优化学习框架，其通过学习领域特定的统计成本模型来引导张量操作实现的搜索，进而加速搜索，实现性能与手动调整的图书馆竞争力相当。

    May, 2018

  • 利用高斯过程学习线性微分方程

    本文利用概率机器学习的最新进展，发现由参数线性方程表达的守恒定律，通过高斯过程先验根据此类算子的特定形式进行修改并用于从稀疏和可能嘈杂的观测中推断出线性方程的参数，这些观测可以来自实验或 “黑盒” 计算机模拟。

    Jan, 2017

  • 便宜微分算子的神经网络

    本文介绍了一种使用受限神经网络架构来实现计算涉及到维度导数的微分算子的方法，改进了反向传播计算图，使其可以实现有效提取维度导数。该方法在一些应用场景中具有较低的复杂度，包括计算流体力学中的发散度、连续正规化流的精确密度计算以及训练随机微分方程模型中的 Fokker–Planck 方程求解。

    Dec, 2019

  • CoLA：利用组合结构进行自动和高效的数值线性代数

    该研究提出了一种名为 CoLA（组合线性代数）的大规模线性代数问题的简单而通用的框架，通过将线性操作符抽象与组合调度规则相结合，CoLA 自动构建了内存和运行时高效的数值算法，同时提供内存高效的自动微分、低精度计算和 JAX 和 PyTorch 的 GPU 加速，还通过多重调度在下游包中允许新对象、操作和规则。CoLA 可以加速许多代数操作，同时使得原型化矩阵结构和算法变得简单，可适用于几乎任何需要线性代数的计算任务。我们展示了它在包括偏微分方程、高斯过程、等变模型构建和无监督学习在内的广泛应用中的有效性。

    Sep, 2023

  • 基于正交多项式核的微分代数方程机器学习模型

    利用最小二乘支持向量回归算法，将其应用于解决常微分代数方程组（DAEs），通过建立最小二乘支持向量回归、加权残差法和 Legendre 正交多项式之间的联系，提出了一种新颖的以算子形式求解 DAEs 的方法。通过模拟各种 DAE 场景，如非线性系统、分数阶导数、积分微分和偏微分 DAE，评估了所提出方法的有效性，并与现有的先进方法进行了比较，显示其可靠性和有效性。

    Jan, 2024

  • cuDNN：深度学习高效基元

    创建了一个类似于 BLAS 的优化深度学习工作负载例程库，包含 GPU 的程序，易于集成到现有框架中，性能优化和内存使用率提高 36%。

    Oct, 2014