Mar, 2024

可微分编程的要素

PDF
TL;DR通过大规模模型、海量数据集、加速硬件和可微分编程的变革力量，人工智能最近取得了显著进展。不仅可以以端到端的方式对复杂计算机程序进行微分，还可以优化程序参数。可微分编程建立在自动微分、图模型、优化和统计学等多个计算机科学和应用数学领域的基础上，本书全面评估了不同 iable 编程的基本概念。通过优化和概率的两个主要视角，我们介绍了两者之间的明显相似之处。可微分编程不仅仅是程序的微分，还包括为微分而设计的富有思考的程序，通过使程序可微分，我们自然引入了与程序输出相关的概率分布，从而提供了量化不确定性的手段。
artificial intelligencedifferentiable programmingoptimizationprobabilitycomputer science
发现论文，激发创造
  • 可微程序张量网络

    本篇论文介绍了可微编程的概念，研究如何将张量网络算法编程为可完全微分，提出了稳定的张量分解自动微分方法和通过迭代固定点实现反向传播的技术，应用于 Ising 模型和 Heisenberg 模型，取得了较好的优化效果。

    Mar, 2019

  • 可微编程系统：连接机器学习与科学计算

    这篇论文介绍了一种 Differentiable Programming 系统 Zygote，能够从一般的程序结构中获取梯度，该系统支持控制流、递归、突变等几乎所有语言构造，并支持各种高级自动微分技术，可以在不需要任何用户干预或重构来分阶段执行计算的情况下编译高性能代码，从而使得我们能够在深度学习模型中简单地集成一个大的库生态系统。

    Jul, 2019

  • 机器学习中的自动微分数学模型

    本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。

    Jun, 2020

  • 解密可导编程：Shift/Reset 倒数第二个反向传播器

    本文研究了自动微分技术和其与限定续延之间的紧密关系，提出了无需任何辅助数据结构的运算符重载形式的反向模式自动微分实现，并将其与多阶段编程相结合，实现了 TensorFlow 等框架的计算性能优势和 PyTorch 等库的表达能力。

    Mar, 2018

  • 机器学习中的自动微分：一项调查

    本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。

    Feb, 2015

  • 使用可接受的神经启发式学习可微分程序

    研究解决学习特定领域语言中表达的可微分函数的问题，通过将神经网络的不同类视为对程序空间的松弛，并在一系列分类任务中实例化遗传算法和分支界限搜索来发现自然解释和有竞争力的程序分类器。

    Jul, 2020

  • 机器学习算法的自动微分

    本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。

    Apr, 2014

  • 神经库的可微程序

    通过使用不同的可微编程语言和神经网络的框架，我们创建了端到端可训练系统，可以学习编写带感知元素的可解释算法。通过模块化结构和归纳偏差，我们证明了可以学习一组不断增长和改进的 (神经) 函数库，这可以带来比基线更高效的新任务知识传递。

    Nov, 2016

  • 可微分算法学习

    本论文探讨了算法监督的概念，提出了一种连续松弛算法的一般方法，定量评估了算法和神经网络的组合对性能和效率的增益，并探讨了在算法中引入可微性的各种不同技术和训练策略。

    Sep, 2022

  • DiffTaichi: 物理模拟的可微编程

    DiffTaichi 是一种新的可微编程语言，专为构建高性能的可微物理模拟器而设计，演示了它在 10 个不同物理模拟器的梯度学习和优化任务中的性能和生产力，可以用于优化神经网络控制器。

    Oct, 2019