Apr, 2024

无矩阵雅可比链

PDF
TL;DR计算科学和工程中的基本挑战是有效地计算雅可比矩阵。大规模的模块化数值模拟程序可以看作是将不同 iable 子程序进行序列求值，并考虑对应的元素雅可比矩阵。我们假设这些子程序的切线和伴随版本通过算法微分获得，而元素雅可比矩阵一般不可用。将经典的（雅可比）矩阵链积问题重新定义为基于无矩阵雅可比矩阵（切线）和矩阵 - 雅可比矩阵积（伴随）的问题，并限制了存储后者所需信息的有限内存。所有的数值结果可以通过使用开源参考实现进行复现。
computationjacobiansnumerical simulationalgorithmic differentiationmatrix-free
发现论文，激发创造
  • 大矩阵的函数梯度

    通过导出 Lanczos 和 Arnoldi 迭代的未知共轭系统，该研究利用 JAX 实现了用于科学机器学习模型的数值线性代数效率高的可微分算法，该算法成功地不需要特定问题的代码优化，并在不同领域如选取高斯过程模型和校准贝叶斯神经网络中表现出与其他常见方法相当甚至更好的效果。

    May, 2024

  • 神经网络可行的无鞍牛顿优化的 Hessian-Vector 乘积系列

    提出了一个既能解决大规模的 Hessian 矩阵问题，又能优化非凸性的优化算法，采用了一个无限级数截断的方法，并在多种情境下进行了验证，包括在 CIFAR-10 上训练的 ResNet-18 模型。

    Oct, 2023

  • 打字式线性代数：一种基于双积的方法

    本文提出了一种无指数，计算矩阵代数的方法，通过将矩阵作为具有双积的类别的态射进行开发，从而可以从类型级别的透视图得到转化，在此基础上可以轻松计算实现矩阵乘法的算法。

    Dec, 2013

  • 便宜微分算子的神经网络

    本文介绍了一种使用受限神经网络架构来实现计算涉及到维度导数的微分算子的方法，改进了反向传播计算图，使其可以实现有效提取维度导数。该方法在一些应用场景中具有较低的复杂度，包括计算流体力学中的发散度、连续正规化流的精确密度计算以及训练随机微分方程模型中的 Fokker–Planck 方程求解。

    Dec, 2019

  • 高水平瞬变有限元程序的伴随自动导出

    本文提出了新的技术，通过高层次的符号表示法实现了有限元模型的离散伴随和正切线性模型的推导，相比于标准的算法区分技术，该方法更加高效和自动化，适用于一类大规模和复杂的前向模型，并在各种科学应用中证明了其普遍性和适用性。

    Apr, 2012

  • 自动微分：理论与实践

    本文介绍了针对实数和复数的前向和后向 AD 的经典无坐标形式。我们展示了如何从基本原理出发正式推导出多个矩阵函数的前向和后向公式。

    Jul, 2022

  • 一种灵活高效的约束矩阵和张量分解算法框架

    提出一种新的混合算法框架，将交替优化和交替方向乘子法相结合，称为交替优化 - 交替方向乘子法。该框架适用于矩阵和张量因子分解，可以自然地适应各种约束和拟合损失，并通过缓存和启发式策略实现了高效更新，在实践中具有更快和更稳定的收敛。非负矩 / 张量因子分解、约束矩 / 张量完成和字典学习是该算法的三个特例。

    Jun, 2015

  • 迭代算法的一步差分

    本文提出一种新的自动求导方法 —— 一步法微分（Jacobian-free backpropagation），其性能可与隐式微分方法相媲美，并为快速算法（如超线性优化方法）提供了解决方案。其中使用特定的例子（如牛顿法和梯度下降法）对其进行全面的理论近似分析，并揭示了其在双层优化中的应用。通过多个数值示例，证明了这种一步估计器的正确性。

    May, 2023

  • 用 Cauchy 矩阵和多项式进行快速近似计算

    本文提出了一种新的数字算法，该算法使用快速多极法来加速多点多项式求值和插值问题的解决，以实现近乎线性的时间。

    Jun, 2015

  • FFJORD: 可伸缩的可逆生成模型的自由连续动力学

    本研究利用可逆神经网络将从简单分布映射到复杂分布的一类生成模型进行了优化，实现了无偏密度估计和单次采样，并在高维度密度估计、图像生成和变分推断等领域超越了目前的所有精确似然方法。

    Oct, 2018