本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。
Apr, 2014
本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。
Feb, 2015
自动微分在计算统计学中扮演关键角色，实现高效的算法微分包括运算重载、区域内存和表达式模板等计算技术以及半解析微分等数学技术。未来仍需要将当前包的推广和更高阶微分的高效方法应用于高级算法。
Nov, 2018
自动微分是深度学习中的关键组成部分，本文通过逐步引入一个简单的自动微分系统的实现，弥补了现有系统的复杂性和教学上的不足，使整个设置显得非常自然。
Feb, 2024
通过大规模模型、海量数据集、加速硬件和可微分编程的变革力量，人工智能最近取得了显著进展。不仅可以以端到端的方式对复杂计算机程序进行微分，还可以优化程序参数。可微分编程建立在自动微分、图模型、优化和统计学等多个计算机科学和应用数学领域的基础上，本书全面评估了不同 iable 编程的基本概念。通过优化和概率的两个主要视角，我们介绍了两者之间的明显相似之处。可微分编程不仅仅是程序的微分，还包括为微分而设计的富有思考的程序，通过使程序可微分，我们自然引入了与程序输出相关的概率分布，从而提供了量化不确定性的手段。
Mar, 2024
本文从微分几何的角度，系统地推导了自动微分的高阶实现，旨在提供可行的高性能实现方式。
Dec, 2018
本文介绍了自动微分（亦称反向传播、AD、算法微分）的应用，其误差分类有混沌、时间平均振荡、离散化、固定点循环、查询表和线性求解器。此外，本文也回顾了调试技术及其在这些情况下的效果，为用户提供避免异常行为、更轻易地检测问题并更加实际地运用 AD 工具的方法。
May, 2023
软件开发中采用面向对象编程实现链式规则以进行自动微分，但由于得到的表达式未经简化容易导致误差不可控。
该论文提出了自动隐式微分，一种隐式微分优化问题的高效且模块化的方法，将隐式微分和自动微分的优点结合起来，可应用于包括双层优化问题和分子动力学的敏感性分析等的各种应用领域。
May, 2021
本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。
Jun, 2022