Oct, 2018

不展开伴随：对 SSA 形式程序进行微分

PDF
TL;DR本文介绍了基于源代码转换的逆向模式算法微分（AD），特别是现代编译器使用的静态单赋值（SSA）形式。该方法可以支持控制流、嵌套、变异、递归、数据结构、高阶函数和其他语言结构，并将输出的微分代码交由现有编译器来生成高效微分代码。我们的实现是 Julia 语言的一种新 AD 工具，称为 Zygote，它呈现高级动态语义，同时在内部透明地编译伴随代码。我们讨论了这种方法对 AD 工具的易用性和性能的好处。
algorithmic differentiationstatic single assignmentcontrol flowrecursionjulia
发现论文，激发创造
  • 机器学习中的自动微分：现状与未来发展方向

    我们综述了目前机器学习中用于数组编程的自动微分（AD）的状态，包括不同的方法，如操作符重载和源代码转换，以及程序的基于图形的中间表示和源代码语言。基于这些见解，我们引入了一种新的基于图形的中间表示（IR），旨在有效地支持完全一般的数组编程的自动微分。

    Oct, 2018

  • Julia 中的正向自动微分

    ForwardDiff 是一个使用 Julia 编写的自动微分软件包，它采用即时编译来转换 AD-unaware 用户代码，以实现高阶和自定义数类型的微分，包括复数，同时对于梯度和雅可比矩阵计算，提供了避免昂贵堆分配的矢量正向模式，并更好地利用了内存带宽，旨在与低级语言性能相竞争，可以更快地计算函数梯度，因此被广泛应用于优化模型、天文学、有限元分析、统计等各个领域。

    Jul, 2016

  • 自动微分的简单本质

    本文提出了一种由简单、自然的规范计算出的通用 AD 算法，通过使用 AD - 不可知编译器插件，这些算法可以直接从现有的编程语言中使用，无需新的数据类型或编程风格，并且不涉及任何图表、磁带、变量、偏导数或突变，从而更易于理解、改进和并行执行。

    Apr, 2018

  • 反向模式自动微分的分解

    本文提出了将反向模式自动微分分解为前向模式线性化和转置的方法，它既可以将二者的本质区别隔离出来，又简化了它们的联合实现。具体而言，一旦在源语言中定义了每个基本操作的前向模式自动微分规则，只有线性基元需要额外的转置规则才能得到完整的反向模式自动微分实现。这就是反向模式自动微分在 JAX 和 Dex 中的编写方式。

    May, 2021

  • 可微编程系统：连接机器学习与科学计算

    这篇论文介绍了一种 Differentiable Programming 系统 Zygote，能够从一般的程序结构中获取梯度，该系统支持控制流、递归、突变等几乎所有语言构造，并支持各种高级自动微分技术，可以在不需要任何用户干预或重构来分阶段执行计算的情况下编译高性能代码，从而使得我们能够在深度学习模型中简单地集成一个大的库生态系统。

    Jul, 2019

  • 使用源代码转换进行正切函数：动态类型数组编程的自动微分

    本文介绍了自动微分的技术在 Python 中的实现以及如何使用 source-code transformation 等技术提高性能和可用性。同时，引入了 Tangent 软件库来实现这些想法，这也是首个使用 SCT 实现的动态语言的自动微分框架。

    Sep, 2018

  • 随机自动微分

    提出了随机自动微分 (RAD) 的一般框架和方法，可实现减少内存的无偏梯度估计，特别适用于小批量的反向传播神经网络，同时适用于科学计算中的优化控制参数

    Jul, 2020

  • 解密可导编程：Shift/Reset 倒数第二个反向传播器

    本文研究了自动微分技术和其与限定续延之间的紧密关系，提出了无需任何辅助数据结构的运算符重载形式的反向模式自动微分实现，并将其与多阶段编程相结合，实现了 TensorFlow 等框架的计算性能优势和 PyTorch 等库的表达能力。

    Mar, 2018

  • 机器学习中的自动微分：一项调查

    本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。

    Feb, 2015

  • 可微程序张量网络

    本篇论文介绍了可微编程的概念，研究如何将张量网络算法编程为可完全微分，提出了稳定的张量分解自动微分方法和通过迭代固定点实现反向传播的技术，应用于 Ising 模型和 Heisenberg 模型，取得了较好的优化效果。

    Mar, 2019