- 迭代算法的一步差分
本文提出一种新的自动求导方法 —— 一步法微分（Jacobian-free backpropagation），其性能可与隐式微分方法相媲美，并为快速算法（如超线性优化方法）提供了解决方案。其中使用特定的例子（如牛顿法和梯度下降法）对其进行全 - 自动微分陷阱理解
本文介绍了自动微分（亦称反向传播、AD、算法微分）的应用，其误差分类有混沌、时间平均振荡、离散化、固定点循环、查询表和线性求解器。此外，本文也回顾了调试技术及其在这些情况下的效果，为用户提供避免异常行为、更轻易地检测问题并更加实际地运用 A - 基于软件的自动微分存在缺陷
软件开发中采用面向对象编程实现链式规则以进行自动微分，但由于得到的表达式未经简化容易导致误差不可控。
- 应用自动微分求解压力和热通量
该研究使用机器学习潜力提供的 Born-Oppenheimer 势能表面来预测锡硒化物的粘聚性和热导率，其复杂的功能形式依赖于自动微分，并且使用了一种统一的自动微分方法来获得自动微分梯度，包括力，应力和热通量。
- YODO 算法：Bayesian 网络中灵敏度分析的高效计算框架
提出了一种使用自动微分和精确推理相结合的算法，能够高效地计算灵敏度测量值，此方法已用于两个中等规模的贝叶斯网络，并实现了流行机器学习库 PyTorch。
- 基于幂法和反幂法的神经网络求解线性特征值问题
本文提出三种基于幂法、逆幂法和移位逆幂法的神经网络，利用自动微分实现微分算子，学习线性特征值问题的特征函数并通过特殊定义的损失函数进行迭代，通过数值实验检验了方法的适用性和准确性，得出了我们方法可以获得准确的特征值和特征函数逼近的结论。
- Betty：一个用于多层次优化的自动微分库
介绍了一个大规模多层级 (MLO) 的软件库 Betty，通过设计新颖的数据流图实现了高效的自动微分，以 O（d^2）的复杂度降低计算复杂度，支持混合精度和数据并行训练以实现可扩展性，同时展示了在多个基准测试中与现有实现相比，测试精度提高了 - You Only Derive Once (YODO): 贝叶斯网络中的高效敏感度分析自动差分
该研究提出一种基于自动微分和精确推断的方法，通过一遍推断来获得贝叶斯网络的所有敏感度值，并用 PyTorch 实现。该方法可用于大型网络，以提高计算效率并排名各参数的重要性。
- 半自动微分实现的量子最优控制
本文采用半自动微分的方法进行量子优化控制，将优化函数按时间传播和功能计算分解计算其梯度，并应用于开放量子系统中量子信息和量子计量的非解析函数优化控制。
- NetKet 3：用于多体量子系统的机器学习工具箱
NetKet 3 是一个支持 GPU 和 TPU 加速训练的基于神经网络的量子态的机器学习工具箱，使用 JAX 和自动微分 方法定义 Python 代码，支持离散对称性，可用于量子动力学应用。
- ICLR辅助任务更新分解：好的、坏的和中性的
为使辅助任务更新适应主任务，我们提出了一种模型无关的框架，通过对辅助更新进行分解和加权，使得这些更新可以帮助、损害或保持主任务损失不变，在处理文本和图像分类任务中，该方法与强基线方法相比表现更优。
- ICML使用混合自动微分进行差分隐私机器学习的灵敏度分析
介绍了一种新的混合自动微分系统，可用于推理隐私损失，并进一步开发自动灵敏度分析和隐私预算系统，在统计数据库查询和 DP 神经网络的训练中具有良好的应用前景。
- 矩形流形学习
本文提出了两种方法，通过使用自动微分和数值线性代数技术，以可计算的梯度的形式，实现了端到端的非线性流形学习和密度估计，有效地解决了流形上的体积变化问题，并且在流形学习和流形上的分布估计等方面表现优越。
- 高效模块化的隐式求导
该论文提出了自动隐式微分，一种隐式微分优化问题的高效且模块化的方法，将隐式微分和自动微分的优点结合起来，可应用于包括双层优化问题和分子动力学的敏感性分析等的各种应用领域。
- 利用物理信息的深度神经网络学习参数偏微分方程的解算子
本文提出了一种被称为物理学知识不同 DeepONets 的新模型类，通过使用自动差分在模型训练期间施加软惩罚约束来实现重力定律，其将 DeepONet 模型输出偏向于确保物理一致性，进而显著提高 DeepONets 的预测准确性，并大大减少 - Swift for TensorFlow：深度学习的可移植、灵活平台
Swift for TensorFlow 是一个深度学习平台，可在数据中心的硬件加速器集群从移动设备扩展。它结合了语言集成的自动微分系统和多个 Tensor 实现，这些实现是在面向可变值语义的现代预先编译语言中实现的。该平台已经通过在 30 - ICML提高的双层模型：具有理论保证的快速和最优算法
本文提出了一种改进的双层模型，该模型利用自动差分算法优化了双层模型的公式，并在数据超级清理和超级表示学习等两个任务中进行了理论和实验评估，结果显示新模型的性能优于当前双层模型。
- 学习易于解决的微分方程
该研究提出了一种利用高阶导数的可微时间代价替代标准数值求解器的方法以提高神经网络参数差分方程数值求解的效率，并且在监督分类、密度估计和时间序列建模任务中得到了验证。
- 竞争镜像下降
本论文提出基于自动微分的竞争镜像下降（CMD）：一种用于解决多智能体优化问题的通用方法。通过添加拉格朗日乘数，简化约束集并获得相关的 Bregman 势函数，通过求解全局问题的正则双线性近似的 Nash 均衡来获得智能体的移动方向，并使用 - 机器学习中的自动微分数学模型
本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。