adjoint method | BriefGPT - AI 论文速递

关键词adjoint method

搜索结果 - 7

ODE 系统的时间向量化数值积分
将刚性系统的常微分方程通过时间的积分与伴随方法计算参数梯度的高效、隐式、矢量化方法在本文中进行了描述。创新之处在于在独立时间序列的数量和连续时间步骤的批次或 “块” 上对问题进行矢量化，从而有效地进行隐式常微分方程系统的组装。线性化的隐式反
PDF9 months ago
用高斯 - 勒让德积分快速训练神经 ODE
通过使用 Gauß-Legendre 积分法加速伴随方法，我们提出了一种加速神经 ODE 训练的新方法，这对大型模型尤为有效，同时也为训练基于 SDE 的模型提供了新的方法。
PDF10 months ago
用自编码器压缩加速大规模反问题求解的方法
本文提出了一种基于自动编码器的压缩方法来解决由 PDE 约束的反问题，降低内存需求和加速计算，将其与以往的检查点和压缩方法进行了比较，并结合数据驱动的主子空间方法，实现了经济的扩展到大规模问题的计算
PDFa year ago
ICML对抗净化的扩散模型
本文提出了 DiffPure，使用扩散模型进行过去神经网络的抵御攻击，结果表明它在三个图像数据集上优于现有的对抗训练和对抗净化方法，通常差距很大。
PDF2 years ago
ICML嘿，那不是一个 ODE：通过半范数加速 ODE 伴随
本研究提出了替换 `L^2` 等传统范数为更适当的（半）范数以加快反向传播的算法，实验证明在时间序列、生成建模和物理控制等任务中有 40％至 62％减少函数计算量的中位数改善，训练时间大约减半。
PDF4 years ago
ICLR神经微分方程用于单幅图像超分辨率
本研究使用变分图像复原方法中的偏微分方程对不同类型的神经微分方程和反向传播方法进行基准测试，发现传统的 adjoint 方法不稳定，稳定性更好的离散敏感度分析方法在单张图像超分辨率模型中取得了与当前最新模型相当的性能。
PDF4 years ago
ANODE：神经 ODE 的无条件精确与内存效率梯度
通过 Adjoint 方法解决网络梯度反向传播的内存占用过高导致的一些问题，提出了 ANODE 神经 ODE 框架，解决了梯度不稳定问题，并且有 O (L) + O (N_t) 的内存占用和与 ODE 反转相同的计算成本。
PDF5 years ago