本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。

Feb, 2015

本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。

Apr, 2014

本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。

Jun, 2020

自动微分是深度学习中的关键组成部分，本文通过逐步引入一个简单的自动微分系统的实现，弥补了现有系统的复杂性和教学上的不足，使整个设置显得非常自然。

Feb, 2024

本文从微分几何的角度，系统地推导了自动微分的高阶实现，旨在提供可行的高性能实现方式。

Dec, 2018

本文介绍了自动微分（亦称反向传播、AD、算法微分）的应用，其误差分类有混沌、时间平均振荡、离散化、固定点循环、查询表和线性求解器。此外，本文也回顾了调试技术及其在这些情况下的效果，为用户提供避免异常行为、更轻易地检测问题并更加实际地运用 AD 工具的方法。

May, 2023

该论文提出了自动隐式微分，一种隐式微分优化问题的高效且模块化的方法，将隐式微分和自动微分的优点结合起来，可应用于包括双层优化问题和分子动力学的敏感性分析等的各种应用领域。

May, 2021

本文研究了用于最小化函数的梯度估计方法的渐近误差，并找到了自动估计器误差接近于解析估计器误差平方的超高效现象，分析了这些估计器的收敛率和计算复杂度，并给出了实际指南以在它们之间进行选择。

Feb, 2020

本文提出一种新的自动求导方法 —— 一步法微分（Jacobian-free backpropagation），其性能可与隐式微分方法相媲美，并为快速算法（如超线性优化方法）提供了解决方案。其中使用特定的例子（如牛顿法和梯度下降法）对其进行全面的理论近似分析，并揭示了其在双层优化中的应用。通过多个数值示例，证明了这种一步估计器的正确性。

May, 2023

本文提出了一种由简单、自然的规范计算出的通用 AD 算法，通过使用 AD - 不可知编译器插件，这些算法可以直接从现有的编程语言中使用，无需新的数据类型或编程风格，并且不涉及任何图表、磁带、变量、偏导数或突变，从而更易于理解、改进和并行执行。

Apr, 2018