本文提出了一种由简单、自然的规范计算出的通用 AD 算法，通过使用 AD - 不可知编译器插件，这些算法可以直接从现有的编程语言中使用，无需新的数据类型或编程风格，并且不涉及任何图表、磁带、变量、偏导数或突变，从而更易于理解、改进和并行执行。

Apr, 2018

提出了随机自动微分 (RAD) 的一般框架和方法，可实现减少内存的无偏梯度估计，特别适用于小批量的反向传播神经网络，同时适用于科学计算中的优化控制参数

Jul, 2020

本文介绍了针对实数和复数的前向和后向 AD 的经典无坐标形式。我们展示了如何从基本原理出发正式推导出多个矩阵函数的前向和后向公式。

Jul, 2022

ForwardDiff 是一个使用 Julia 编写的自动微分软件包，它采用即时编译来转换 AD-unaware 用户代码，以实现高阶和自定义数类型的微分，包括复数，同时对于梯度和雅可比矩阵计算，提供了避免昂贵堆分配的矢量正向模式，并更好地利用了内存带宽，旨在与低级语言性能相竞争，可以更快地计算函数梯度，因此被广泛应用于优化模型、天文学、有限元分析、统计等各个领域。

Jul, 2016

本文研究了自动微分技术和其与限定续延之间的紧密关系，提出了无需任何辅助数据结构的运算符重载形式的反向模式自动微分实现，并将其与多阶段编程相结合，实现了 TensorFlow 等框架的计算性能优势和 PyTorch 等库的表达能力。

Mar, 2018

本文介绍了基于源代码转换的逆向模式算法微分（AD），特别是现代编译器使用的静态单赋值（SSA）形式。该方法可以支持控制流、嵌套、变异、递归、数据结构、高阶函数和其他语言结构，并将输出的微分代码交由现有编译器来生成高效微分代码。我们的实现是 Julia 语言的一种新 AD 工具，称为 Zygote，它呈现高级动态语义，同时在内部透明地编译伴随代码。我们讨论了这种方法对 AD 工具的易用性和性能的好处。

Oct, 2018

本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。

Apr, 2014

神经网络的反向传播过程利用了自动微分的基本要素，通过前向模式的自动微分或 Jacobian 向量乘积 (JVP) 来计算损失函数的方向导数，并使用随机采样的不同概率分布计算这些方向导数，本文对这些方法进行了严格的分析并给出了收敛速率，同时还进行了在科学机器学习中部署的计算实验，特别是应用于物理信息神经网络和深度算子网络。

Oct, 2023

DrMAD 是一种通过优化同时保证模型效果的简单高效的方法，可以在超参数优化中通过近似反转训练轨迹最大化地利用前向传递的知识，是第一个实现自动调整深度神经网络数千个超参数的研究尝试。

Jan, 2016

我们通过向 JAX 增加自动区分高阶函数（functional 和 operators）的能力，将函数表示为数组的一种泛化，采用 JAX 现有的原始系统来实现高阶函数。我们提供了一组原始操作符，作为构建几种关键类型的 functional 的基础构建块。对于每个引入的原始操作符，我们推导和实现了线性化和转置规则，与 JAX 内部的前向和反向模式自动区分协议保持一致。这种增强功能允许在传统用于函数的语法中进行 functional 区分。得到的 functional 梯度本身就是可以在 Python 中调用的函数。我们通过一些应用展示了这个工具的效能和简洁性，这些应用中 functional 导数是不可或缺的。本研究的源代码可在此 https URL 中获取。

Nov, 2023