- TextGrad: 自动文本 “差异化
AI 正处于一个新的转变时期，TextGrad 是一个强大的框架，通过文本实现自动 “微分”, 可以改善复合人工智能系统的各个组件，这是开发下一代人工智能系统的基础之一。
- 利用深度强化学习优化自动微分
利用深度强化学习和跨国消除的概念，该论文提出了一种优化雅可比计算所需乘法次数的新方法，并通过减少计算量实现了高达 33％的性能提升。
- 灵活高效的代理梯度建模与前向梯度注入
本文介绍了一种替代方法，即前向梯度注入（FGI），用于在前向传递过程中将任意梯度形状直接注入计算图，证明了使用 FGI 相对于自定义向后传递方法在 SNNs 中使用 TorchScript 可以显著提高模型性能，并通过在 TorchScri - 自动微分在神经网络求解微分方程中的重要性
神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经 - 降低 PyTorch 对选择性微分的内存消耗
在深度学习任务中，内存是一个有限的资源。除了神经网络权重外，另一个主要消耗内存的因素是通过自动微分（AD）建立的计算图，用于反向传播。我们观察到 PyTorch 当前的 AD 实现在存储计算图时忽略了参数可微性的信息。然而，这些信息对于在许 - 可微分时变音频系统的全极滤波器
通过重新表达时间变化的全极滤波器以通过自身反向传播梯度，我们消除了在自动微分框架的技术限制下将滤波器实现到这一困难，从而可以在包含极点的任何音频系统中使用此实现以进行高效的梯度评估。我们演示了该实现在相移器、时变减法合成器和前向压缩器上对建 - 基于前向梯度级联法的高效深度神经网络训练优化
使用前向模式自动微分进行梯度计算的 Frank-Wolfe 算法具有次线性收敛速度，并优于使用后向传播方法的标准 Frank-Wolfe 算法，同时研究了深度神经网络和梯度计算的性能。
- 基于梯度的模糊系统优化的自动微分方法 — 以 FuzzyR 为案例
探讨基于梯度下降优化模糊系统设计的自动微分技术，以解放设计师精力并侧重于功能和可解释性方面，同时提供一个使用 FuzzyR 的案例来展示当前模糊推理系统实现如何利用自动微分工具集的强大特性，并讨论其对模糊系统设计的未来潜力。
- 隐式线性层的频谱抽取和裁剪
我们展示了自动微分在高效正确地计算和控制隐式线性运算符的频谱上的有效性，包括所有标准卷积和稠密层的一系列丰富类型。我们提供了第一种正确应用于一般卷积层的剪切方法，并阐明了之前研究中导致正确性问题的表征限制。我们研究了批归一化层与卷积层串联时 - 自动微分实施的逐步介绍
自动微分是深度学习中的关键组成部分，本文通过逐步引入一个简单的自动微分系统的实现，弥补了现有系统的复杂性和教学上的不足，使整个设置显得非常自然。
- DOF: 加速高阶微分算子的前向传播
通过 Differential Operator with Forward-propagation（DOF）计算方法对比传统的 automatic differentiation 技术，在 MLP 结构上实现 2 倍的提升，在 MLP 与 - 球面和球上的可微分和加速小波变换
设计了新的高度可分布且可自动微分的球面及球体方向小波变换，用于加速球面和球体上的信号处理，并提供梯度信息来解锁以往在这些空间中不可能的数据驱动分析技术。
- 关于非光滑自动微分的数值可靠性：MaxPool 案例研究
通过研究自动微分在涉及非光滑 MaxPool 操作的神经网络上，考虑其可靠性。我们在不同的精度水平（16、32、64 位）、卷积架构（LeNet、VGG 和 ResNet）以及各种数据集（MNIST、CIFAR10、SVHN 和 Image - 零坐标偏移：用于物理信息算子学习的完善自动微分
通过零坐标转移技巧（ZCS），这篇论文提出了一种用于物理信息操作器学习的新颖而轻量级的自动微分算法，可用于计算网络输出关于坐标的高阶导数，实现了 GPU 内存消耗和训练时间的数量级下降。
- 驯服二值化神经网络与混合整数规划
通过将训练二值化神经网络的问题重新定义为一个混合整数规划的亚可加性对偶问题，我们展示了二值化神经网络具有一种平滑可控的表示形式，从而使得在二值化神经网络的背景下可以使用 Bolte 等人的隐式微分的框架，为实际实现反向传播提供了可能。此方法 - 自动微分跨条件分支的平滑方法
控制流结构中引入的不连续性对于假设目标函数响应曲面具有一定平滑性的数学优化方法构成挑战。在此论文中，我们将平滑解释（SI）与自动微分（AD）相结合，以高效计算平滑程序的梯度。SI 与 AD 的结合使得参数综合可以直接基于梯度进行分支程序，例 - ICLR使用正向和反向模式自动微分将偏微分方程引入到 JAX
使用有限元方法扩展了 JAX 自动微分库，通过 Firedrake 有限元库实现对偏微分方程的符号化表示，从而有效地将有限元解算器与任意可微程序进行组合。
- 通用主配对算法
使用 Taylor 模式自动微分的近期泛化方法，我们提出了自动推导 majorizer 的优化器，这些通用的 Majorization-Minimization 优化器可应用于任意问题，并且从任何起始点收敛，无需超参数调整。
- 贝叶斯神经网络的黎曼拉普拉斯近似
通过使用 Riemann 度量和自动微分等方法，我们提出了一种简单的参数近似后验分布，用于适应真实后验分布的形状，并解决了传统方法的局限性。
- AI 增强控制工程方法
本文探讨了如何利用 AI 工具在控制应用中，其中核心工具是自动微分，包括使用自动微分来线性化系统动态以进行局部稳定性分析，或用于坎曼滤波器的状态估计。我们还探讨了其他用途，例如将微分 - 代数方程转换为普通微分方程，以进行控制设计。此外，我