通过大规模模型、海量数据集、加速硬件和可微分编程的变革力量，人工智能最近取得了显著进展。不仅可以以端到端的方式对复杂计算机程序进行微分，还可以优化程序参数。可微分编程建立在自动微分、图模型、优化和统计学等多个计算机科学和应用数学领域的基础上，本书全面评估了不同 iable 编程的基本概念。通过优化和概率的两个主要视角，我们介绍了两者之间的明显相似之处。可微分编程不仅仅是程序的微分，还包括为微分而设计的富有思考的程序，通过使程序可微分，我们自然引入了与程序输出相关的概率分布，从而提供了量化不确定性的手段。

Mar, 2024

本文研究了自动微分技术和其与限定续延之间的紧密关系，提出了无需任何辅助数据结构的运算符重载形式的反向模式自动微分实现，并将其与多阶段编程相结合，实现了 TensorFlow 等框架的计算性能优势和 PyTorch 等库的表达能力。

Mar, 2018

这篇论文介绍了一种 Differentiable Programming 系统 Zygote，能够从一般的程序结构中获取梯度，该系统支持控制流、递归、突变等几乎所有语言构造，并支持各种高级自动微分技术，可以在不需要任何用户干预或重构来分阶段执行计算的情况下编译高性能代码，从而使得我们能够在深度学习模型中简单地集成一个大的库生态系统。

Jul, 2019

神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。

May, 2024

本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。

Feb, 2015

DiffTaichi 是一种新的可微编程语言，专为构建高性能的可微物理模拟器而设计，演示了它在 10 个不同物理模拟器的梯度学习和优化任务中的性能和生产力，可以用于优化神经网络控制器。

Oct, 2019

通过引入 “functional tensors” 这一概念，将现代自动微分框架的通用概念扩展为连续概率分布，并实现广义变量消除和并行扫描滤波算法，从而实现了一种广泛适用的概率编程系统，被应用于 Pyro 编程语言中，可以实现包括精确和近似推断在内的多种推断策略。

Oct, 2019

研究解决学习特定领域语言中表达的可微分函数的问题，通过将神经网络的不同类视为对程序空间的松弛，并在一系列分类任务中实例化遗传算法和分支界限搜索来发现自然解释和有竞争力的程序分类器。

Jul, 2020

本文提出了一种基于可微编程的新的旋转系统建模框架，可高效地模拟旋转系统，适用于包括 GPU 和 TPU 在内的不同硬件架构，有效提高了建模效率。

Apr, 2023

本论文探讨了算法监督的概念，提出了一种连续松弛算法的一般方法，定量评估了算法和神经网络的组合对性能和效率的增益，并探讨了在算法中引入可微性的各种不同技术和训练策略。

Sep, 2022