Nov, 2023

零坐标偏移：用于物理信息算子学习的完善自动微分

PDF
TL;DR通过零坐标转移技巧（ZCS），这篇论文提出了一种用于物理信息操作器学习的新颖而轻量级的自动微分算法，可用于计算网络输出关于坐标的高阶导数，实现了 GPU 内存消耗和训练时间的数量级下降。
automatic differentiationphysics-informed machine learningzero coordinate shiftdeepxdepartial differential equations
发现论文，激发创造
  • DeepZero：扩展零阶优化以提升深度模型训练

    DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

    Oct, 2023

  • 自动微分在神经网络求解微分方程中的重要性

    神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。

    May, 2024

  • 随机自动微分

    提出了随机自动微分 (RAD) 的一般框架和方法，可实现减少内存的无偏梯度估计，特别适用于小批量的反向传播神经网络，同时适用于科学计算中的优化控制参数

    Jul, 2020

  • 利用物理信息的深度神经网络学习参数偏微分方程的解算子

    本文提出了一种被称为物理学知识不同 DeepONets 的新模型类，通过使用自动差分在模型训练期间施加软惩罚约束来实现重力定律，其将 DeepONet 模型输出偏向于确保物理一致性，进而显著提高 DeepONets 的预测准确性，并大大减少了大型训练数据集的需求。

    Mar, 2021

  • 机器学习中的自动微分：一项调查

    本文分析自动微分、机器学习和动态计算图等的交叉领域，并详细定义了 “自动微分”、“自动微分” 和 “符号微分” 的主要技术及其相互关系。

    Feb, 2015

  • 大规模黑箱优化的零阶块坐标下降算法

    本研究提出了一种名为 ZO-BCD 的零阶优化算法，可在大规模环境下完成优化问题的求解，并在小迭代计算复杂度下具有较佳的查询复杂度和更小的内存占用，同时将其应用在音频分类器中，实现了在小波域的对抗攻击效果。

    Feb, 2021

  • 基于物理信息的无网格深度组合算子网络

    参数化偏微分方程、神经算子、物理信息训练、不规则域形状和可变网格尺寸的研究

    Apr, 2024

  • 使用复步方向导数的二阶神经网络训练

    本文提出了一个基于二阶数值优化的深度学习算法。该算法使用复合数算法流的有限差分（CDSD）计算海森矩阵，通过监控泰勒级数的逼近误差，调整步长大小，实现了优化的同时保存良好的局部和全局收敛性，在深度学习任务中表现优异。

    Sep, 2020

  • 自动微分的简单本质

    本文提出了一种由简单、自然的规范计算出的通用 AD 算法，通过使用 AD - 不可知编译器插件，这些算法可以直接从现有的编程语言中使用，无需新的数据类型或编程风格，并且不涉及任何图表、磁带、变量、偏导数或突变，从而更易于理解、改进和并行执行。

    Apr, 2018

  • 量子化学中的自动微分及其在全变分 Hartree-Fock 方法中的应用

    本文论述自动微分（AD）在量子化学领域中的应用，展示了用 AD 计算任意参数的渐进值以及优化方法和 DiffiQult 算法的实现。

    Nov, 2017