Dec, 2018

高阶自动微分的几何理论

PDF
TL;DR本文从微分几何的角度，系统地推导了自动微分的高阶实现，旨在提供可行的高性能实现方式。
发现论文，激发创造
  • 自动微分及其高效实现的综述

    自动微分在计算统计学中扮演关键角色，实现高效的算法微分包括运算重载、区域内存和表达式模板等计算技术以及半解析微分等数学技术。未来仍需要将当前包的推广和更高阶微分的高效方法应用于高级算法。

    Nov, 2018

  • 机器学习中的自动微分：一项调查

    本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。

    Feb, 2015

  • 机器学习算法的自动微分

    本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。

    Apr, 2014

  • 机器学习中的自动微分数学模型

    本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。

    Jun, 2020

  • 自动微分实施的逐步介绍

    自动微分是深度学习中的关键组成部分，本文通过逐步引入一个简单的自动微分系统的实现，弥补了现有系统的复杂性和教学上的不足，使整个设置显得非常自然。

    Feb, 2024

  • 自动微分：理论与实践

    本文介绍了针对实数和复数的前向和后向 AD 的经典无坐标形式。我们展示了如何从基本原理出发正式推导出多个矩阵函数的前向和后向公式。

    Jul, 2022

  • 迭代算法的一步差分

    本文提出一种新的自动求导方法 —— 一步法微分（Jacobian-free backpropagation），其性能可与隐式微分方法相媲美，并为快速算法（如超线性优化方法）提供了解决方案。其中使用特定的例子（如牛顿法和梯度下降法）对其进行全面的理论近似分析，并揭示了其在双层优化中的应用。通过多个数值示例，证明了这种一步估计器的正确性。

    May, 2023

  • 高效模块化的隐式求导

    该论文提出了自动隐式微分，一种隐式微分优化问题的高效且模块化的方法，将隐式微分和自动微分的优点结合起来，可应用于包括双层优化问题和分子动力学的敏感性分析等的各种应用领域。

    May, 2021

  • 通过高阶导数总结将牛顿法应用于神经网络

    本研究论文介绍了一种基于梯度的优化方法，并提出了一个计算上廉价的技术，用于获得有关张量之间交互关系的二阶信息。使用这种技术，构建了适用于各种深度神经网络结构的二阶优化方法，避免了计算 Hessian 矩阵和其近似的复杂性，并改善了现有的对角线或块对角线近似方法。

    Dec, 2023

  • 自动微分在最小值函数中的超高效性

    本文研究了用于最小化函数的梯度估计方法的渐近误差，并找到了自动估计器误差接近于解析估计器误差平方的超高效现象，分析了这些估计器的收敛率和计算复杂度，并给出了实际指南以在它们之间进行选择。

    Feb, 2020