Dec, 2018

自动微分与连续灵敏度分析在微分方程解导数方面的比较

PDF
TL;DR本研究比较了离散局部敏感性分析与连续伴随敏感性分析等敏感性分析方法的性能特征，并发现在 ODE 参数估计和神经微分方程拟合等问题中，前向模式自动微分比反向模式和连续前向 / 伴随敏感性分析更有效。同时，作者也发现当模型规模越大时，连续伴随方法比离散伴随方法和前向方法具有更高的性能，但在连续伴随方法中内存使用与性能之间存在权衡，同时说明面向机器学习的反求法技术不适用于大多数科学模型。
sensitivity analysisautomatic differentiationodesadjoint methodsmodel performance
发现论文，激发创造
  • 无需伴随求解器的混沌流动的伴随灵敏度：一种数据驱动方法

    通过使用数据驱动的策略，利用参数感知回声状态网络（ESN）和其伴随版本计算系统参数的敏感性，从而不需要特定于代码的伴随求解器。

    Apr, 2024

  • 随机微分方程的可扩展梯度

    本文提出一种利用伴随灵敏度方法计算随机微分方程梯度的方法，结合高阶适应性求解器，实现快速、内存高效的梯度计算。并将该方法应用于基于神经网络的随机动力学拟合中，表现出竞争性的性能。

    Jan, 2020

  • 使用混合自动微分进行差分隐私机器学习的灵敏度分析

    介绍了一种新的混合自动微分系统，可用于推理隐私损失，并进一步开发自动灵敏度分析和隐私预算系统，在统计数据库查询和 DP 神经网络的训练中具有良好的应用前景。

    Jul, 2021

  • AdjointDEIS: 扩散模型的高效梯度

    扩散模型的优化和参数的梯度计算是一个复杂而具有挑战性的问题，本文提出了一种基于随机伴随灵敏度方法的新方法，用于计算模型的梯度，并演示了该方法在人脸变形问题上的有效性。

    May, 2024

  • 自动微分在神经网络求解微分方程中的重要性

    神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。

    May, 2024

  • AdjointDPM：扩散概率模型的梯度反向传播的伴随敏感度方法

    使用概率扩散模型自适应定制的新方法 AdjointDPM，采用伴随灵敏度方法通过解决带有增广 ODE 的概率流 ODE 来进行梯度反向传播，从而实现对模型参数和生成内容的梯度控制，进而在可视效果转换、特定类型风格化和安全审计等任务上展示了 AdjointDPM 的有效性。

    Jul, 2023

  • 机器学习中的自动微分：一项调查

    本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。

    Feb, 2015

  • ADMM 和加速 ADMM 作为连续动力系统

    本文探讨了利用动力学系统工具分析梯度下降和加速变体等简单优化算法行为的趋势，并使用 Lyapunov 方法直接分析了动态系统的关键点稳定性和相关收敛速率。

    May, 2018

  • You Only Derive Once (YODO): 贝叶斯网络中的高效敏感度分析自动差分

    该研究提出一种基于自动微分和精确推断的方法，通过一遍推断来获得贝叶斯网络的所有敏感度值，并用 PyTorch 实现。该方法可用于大型网络，以提高计算效率并排名各参数的重要性。

    Jun, 2022

  • 稳定的现实世界方程式发现与评估不同质量影响

    这篇论文探讨了差分方程发现的差异化方法在数据驱动中的关键作用，对于可靠的算法操作而言，输入数据的准确导数是至关重要的，尤其是在不可避免地存在测量质量下降的真实场景中。我们提出了一些替代常用的有限差分方法的方法，这些方法因其在噪声存在下的不稳定性而臭名昭著，噪声可能会加剧数据中的随机误差。我们的分析涵盖了四种不同的方法：Savitzky-Golay 滤波、谱微分、基于人工神经网络的平滑和导数变差的正则化。我们评估了这些方法在类似真实问题上的适用性以及它们保证方程发现算法收敛的能力，为真实世界过程的健壮建模提供了有价值的见解。

    Nov, 2023