- ICML保持势能:欧几里得梯度流之外的守恒定律
本文研究了非欧几里德几何和基于动量的动力学中的守恒定律及其存在与原则,发现与梯度流情况不同,动量动力学中的守恒定律具有时间依赖性,转换为动量动力学时常常观察到守恒损失现象,线性网络中所有的动量守恒定律(数量小于梯度流情况)可以被确定,而 R - 一维标量非线性守恒方程中基于上下文算子网络的 PDE 推广研究
在本文中,我们通过研究 ICON 对守恒定律的广义化能力,探讨了建立一个能够广泛应用于各种 PDE 相关科学学习任务的单个大型模型的可能性,而且这个模型即使对于新形式的 PDE 也不需要经过微调即可广义化。
- 利用自动编码的守恒定律发挥神经算子的能力
神经算子是在科学机器学习中对复杂物理系统建模的有效工具,而保守定律编码的神经算子则通过自动满足保守定律来提高学习效果,特别是在小数据情况下。
- 对称正则化的神经常微分方程
通过将连续 LIE 对称性引入神经 ODE 模型,将其与损失函数相结合,本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。
- 遵守法律,跟随流程:梯度流的保守定律
文章旨在通过在 Jacobin 生成的 Lie 代数上进行有限维代数操作,揭示守恒定律的定义,性质和数量,该定律是在任何训练数据和任何损失函数的情况下保留给定模型的梯度流期间独立数量的最大集合。
- 深度神经网络中的逐层反馈对齐保持不变
本文揭示了支持反馈对齐学习动力学的一组守恒定律,揭示了反馈对齐与梯度下降之间的有趣类比,挑战了这些学习算法根本不同的流行说法,并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件,这将使得使用反馈对齐训练的两层线性网络收敛 - 以稀疏不变量为基础发现新的可解释保守定律
本文提出了一种名为 Sparse Invariant Detector(SID)的算法,能够自动从微分方程中发现守恒定律,算法简单且具有发现出的守恒量的鲁棒性和可解释性,在流体力学和大气化学中被证明可以重新发现已知的和新的守恒定律。
- 神经网络仿真物理系统时施加分析约束
本研究介绍了一种将非线性分析约束条件通过网络架构或损失函数施加在神经网络上的方法,应用于气候建模中的混合过程,可以确保精度且不影响性能,同时也减少与约束条件相关的输出错误。
- 基于数据驱动的深度学习预测圆柱绕流不稳定流场
本文探讨了使用四种不同的深度学习网络(考虑和不考虑守恒定律的卷积神经网络,考虑和不考虑守恒定律的生成对抗网络)来训练和预测圆柱上的非稳态流场,通过使用实际的质量守恒和动量守恒物理损失函数以及非监督式的对抗性训练来提高预测准确度,并得到了与数 - 利用高斯过程学习线性微分方程
本文利用概率机器学习的最新进展,发现由参数线性方程表达的守恒定律,通过高斯过程先验根据此类算子的特定形式进行修改并用于从稀疏和可能嘈杂的观测中推断出线性方程的参数,这些观测可以来自实验或 “黑盒” 计算机模拟。
- 通过微观模拟决定 “粗糙方程” 的性质:婴儿浴水方案
该论文介绍了一种基于微观模拟和样本统计的方法,用于推断多尺度计算中缺失的粗略方程及其相关信息,该方法可应用于多种边界条件和守恒方程,并有望成为多尺度计算的一个重要环节。