Jul, 2019

可微编程系统：连接机器学习与科学计算

PDF
TL;DR这篇论文介绍了一种 Differentiable Programming 系统 Zygote，能够从一般的程序结构中获取梯度，该系统支持控制流、递归、突变等几乎所有语言构造，并支持各种高级自动微分技术，可以在不需要任何用户干预或重构来分阶段执行计算的情况下编译高性能代码，从而使得我们能够在深度学习模型中简单地集成一个大的库生态系统。
发现论文，激发创造
  • 可微分编程的要素

    通过大规模模型、海量数据集、加速硬件和可微分编程的变革力量，人工智能最近取得了显著进展。不仅可以以端到端的方式对复杂计算机程序进行微分，还可以优化程序参数。可微分编程建立在自动微分、图模型、优化和统计学等多个计算机科学和应用数学领域的基础上，本书全面评估了不同 iable 编程的基本概念。通过优化和概率的两个主要视角，我们介绍了两者之间的明显相似之处。可微分编程不仅仅是程序的微分，还包括为微分而设计的富有思考的程序，通过使程序可微分，我们自然引入了与程序输出相关的概率分布，从而提供了量化不确定性的手段。

    Mar, 2024

  • 可微程序张量网络

    本篇论文介绍了可微编程的概念，研究如何将张量网络算法编程为可完全微分，提出了稳定的张量分解自动微分方法和通过迭代固定点实现反向传播的技术，应用于 Ising 模型和 Heisenberg 模型，取得了较好的优化效果。

    Mar, 2019

  • 神经库的可微程序

    通过使用不同的可微编程语言和神经网络的框架，我们创建了端到端可训练系统，可以学习编写带感知元素的可解释算法。通过模块化结构和归纳偏差，我们证明了可以学习一组不断增长和改进的 (神经) 函数库，这可以带来比基线更高效的新任务知识传递。

    Nov, 2016

  • 用于自旋模型的可微编程框架

    本文提出了一种基于可微编程的新的旋转系统建模框架，可高效地模拟旋转系统，适用于包括 GPU 和 TPU 在内的不同硬件架构，有效提高了建模效率。

    Apr, 2023

  • DiffTaichi: 物理模拟的可微编程

    DiffTaichi 是一种新的可微编程语言，专为构建高性能的可微物理模拟器而设计，演示了它在 10 个不同物理模拟器的梯度学习和优化任务中的性能和生产力，可以用于优化神经网络控制器。

    Oct, 2019

  • Julia：一种新的数值计算方法

    Julia 是一种易学易用的编程语言，通过抽象和专业化的设计，实现了在维持人类便利性的前提下达到了很高的机器性能，从而成为数值计算的新途径。

    Nov, 2014

  • 利用可微编程的不确定性量化进行联合参数和参数化推断

    本研究介绍一种新的框架，通过可微编程实现联合估计和不确定性量化，用于同时估计物理参数和机器学习参数化，以增强混合物理 - 机器学习建模的能力。

    Mar, 2024

  • 可微分算法学习

    本论文探讨了算法监督的概念，提出了一种连续松弛算法的一般方法，定量评估了算法和神经网络的组合对性能和效率的增益，并探讨了在算法中引入可微性的各种不同技术和训练策略。

    Sep, 2022

  • 不展开伴随：对 SSA 形式程序进行微分

    本文介绍了基于源代码转换的逆向模式算法微分（AD），特别是现代编译器使用的静态单赋值（SSA）形式。该方法可以支持控制流、嵌套、变异、递归、数据结构、高阶函数和其他语言结构，并将输出的微分代码交由现有编译器来生成高效微分代码。我们的实现是 Julia 语言的一种新 AD 工具，称为 Zygote，它呈现高级动态语义，同时在内部透明地编译伴随代码。我们讨论了这种方法对 AD 工具的易用性和性能的好处。

    Oct, 2018

  • 神经程序员：利用梯度下降诱导潜在程序

    本研究提出了一种新颖的神经程序模型（Neural Programmer），该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络，此模型可以在多个步骤中调用这些扩展操作，因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练，不需要昂贵的编写正确程序的注释，经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。

    Nov, 2015