介绍了如何将一些矩阵分解运算（如 Cholesky、LQ 和对称特征值分解）实现为可微分操作符，并将其在 MXNet 上实现。这使得许多基本的机器学习原语（如高斯过程、最小二乘估计、主成分分析和卡尔曼平滑）易于实现并与深度神经网络（DNN）相结合，优化效率和运行时间。

Oct, 2017

本文提出了一种使用快速矩阵向量乘法的迭代求解方法，结合基于设阵的 Cholesky 预处理，使得高斯过程能够处理函数值与导数，从而实现了基于贝叶斯优化的核学习以及维度约减，该方法能够适用于高维度和较大评估预算。

Oct, 2018

计算科学和工程中的基本挑战是有效地计算雅可比矩阵。大规模的模块化数值模拟程序可以看作是将不同 iable 子程序进行序列求值，并考虑对应的元素雅可比矩阵。我们假设这些子程序的切线和伴随版本通过算法微分获得，而元素雅可比矩阵一般不可用。将经典的（雅可比）矩阵链积问题重新定义为基于无矩阵雅可比矩阵（切线）和矩阵 - 雅可比矩阵积（伴随）的问题，并限制了存储后者所需信息的有限内存。所有的数值结果可以通过使用开源参考实现进行复现。

Apr, 2024

本文介绍了一种使用受限神经网络架构来实现计算涉及到维度导数的微分算子的方法，改进了反向传播计算图，使其可以实现有效提取维度导数。该方法在一些应用场景中具有较低的复杂度，包括计算流体力学中的发散度、连续正规化流的精确密度计算以及训练随机微分方程模型中的 Fokker–Planck 方程求解。

Dec, 2019

我们提出了一种高效的分块对角近似方法来计算前馈神经网络的高斯 - 牛顿矩阵，与一阶优化方法相比，有时能够显著提高优化性能。此外，我们的方法无需繁琐的调参，即可提供良好的性能。在针对分段线性转移函数进行优化时，网络目标函数可能不存在可微的局部极大值，这也可以部分解释为什么这样的转移函数有助于有效优化。

Jun, 2017

本文提出了一种名为 Alt-Diff 的新框架，该框架将优化问题嵌入深度神经网络并快速递归求导，以提高计算速度。实验证明， Alt-Diff 在更少的时间内提供了与现有先进技术可比较的结果。

Oct, 2022

本文提出了两种用于计算矩阵可区分平方根的更加高效的变体，分别采用矩阵泰勒多项式和矩阵帕德逼近法进行前向传播，并使用连续时钟李亚普诺夫方程的渐进求解来计算后向梯度，表明两种方法在各种任务上比现有方法速度更快，且能够实现更好的性能，例如 decorrelated batch normalization 和 second-order vision transformer。

Jan, 2022

使用有限元方法扩展了 JAX 自动微分库，通过 Firedrake 有限元库实现对偏微分方程的符号化表示，从而有效地将有限元解算器与任意可微程序进行组合。

Aug, 2023

本文介绍了针对实数和复数的前向和后向 AD 的经典无坐标形式。我们展示了如何从基本原理出发正式推导出多个矩阵函数的前向和后向公式。

Jul, 2022

提出了一种简单的算法来实现可证明偏差私有性以及良好性能的差异性私人协作过滤。通过差分隐私和贝叶斯后验采样的新型连接方式，该算法可有效实现。同时，通过精细的系统设计和利用数据的幂律行为最大化 CPU 缓存带宽，我们可以在单个 PC 上以 8.5 百万每秒的速率生成 1024 维模型实现推荐。

May, 2015