本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。

Apr, 2014

本文介绍了自动微分（亦称反向传播、AD、算法微分）的应用，其误差分类有混沌、时间平均振荡、离散化、固定点循环、查询表和线性求解器。此外，本文也回顾了调试技术及其在这些情况下的效果，为用户提供避免异常行为、更轻易地检测问题并更加实际地运用 AD 工具的方法。

May, 2023

本文提出了一种由简单、自然的规范计算出的通用 AD 算法，通过使用 AD - 不可知编译器插件，这些算法可以直接从现有的编程语言中使用，无需新的数据类型或编程风格，并且不涉及任何图表、磁带、变量、偏导数或突变，从而更易于理解、改进和并行执行。

Apr, 2018

自动微分在计算统计学中扮演关键角色，实现高效的算法微分包括运算重载、区域内存和表达式模板等计算技术以及半解析微分等数学技术。未来仍需要将当前包的推广和更高阶微分的高效方法应用于高级算法。

Nov, 2018

本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。

Jun, 2020

提出了随机自动微分 (RAD) 的一般框架和方法，可实现减少内存的无偏梯度估计，特别适用于小批量的反向传播神经网络，同时适用于科学计算中的优化控制参数

Jul, 2020

本文论述自动微分（AD）在量子化学领域中的应用，展示了用 AD 计算任意参数的渐进值以及优化方法和 DiffiQult 算法的实现。

Nov, 2017

自动微分是深度学习中的关键组成部分，本文通过逐步引入一个简单的自动微分系统的实现，弥补了现有系统的复杂性和教学上的不足，使整个设置显得非常自然。

Feb, 2024

神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。

May, 2024

本文介绍了深度学习社群已经开发的一系列方法，包括梯度优化、算法微分、机器学习和随机牛顿法，并详细讨论了其中两种方法的数学细节。

Nov, 2016