- 微分方程作为深度神经网络的模型
本研究系统地分析了用作机器学习模型的微分方程的一般性质,并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量,可以应用经典力学的工具。此外,我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。 - NeuPDE: 基于神经网络的常微分方程和偏微分方程模型,用于建模时变数据
使用神经网络和偏微分方程提取动态数据中的模型,参数化模型来结合空时样本相关性,在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较,证明本方法能够降低参数成本。
- 基于随机 telescopingsum 的循环和限制有效优化
本文提出了一种随机抽样方法 — 随机望远镜梯度估计器,用于解决目标函数计算困难,梯度计算偏差较大的优化问题,通过线性组合计算序列的求和来提供低成本无偏的梯度估计。
- 使用数值演化法鉴定微分方程
该研究借鉴数值 PDE 方案收敛分析的基本思想,使用 Lasso 方法在考虑噪音、非线性和不同系数 PDE 的情况下验证和纠正数据结果,提出了一种新的算法 IDENT, 并分析数据产生和降采样、降噪、分析噪声到信号比等影响因素
- 利用神经网络求解微分方程:在计算宇宙相变中的应用
基于人工神经网络在优化问题方面的独特优势以及物理问题可以被转化为优化问题,我们提出了一种广泛类别的微分方程数值求解方法,该方法使用神经网络而不需要任何试探性的解,并且适用于普通的,部分的和耦合的微分方程。我们将该方法用于计算宇宙相变的隧道轮 - DiffEqFlux.jl - 一个用于神经微分方程的 Julia 库
该研究论文介绍了一个旨在将神经网络与微分方程相融合的库 DiffEqFlux.jl,讨论了机器学习模型与微分方程的互补性,并演示了如何在神经网络中使用微分方程求解器,最后讨论了后向传播的各种伴随方法。
- 深度学习中基于一般损失函数的频率原则及其潜在应用
研究表明,深度神经网络具有从低到高频率捕捉目标函数的能力,这被称为频率原理。本文证明了频率原理适用于广泛的损失函数,并能应用于解决不同类型问题的数值方案中,例如:利用 DNN 解决常规方法较慢的微分方程问题。
- iisignature 库:迭代积分标记和对数标记的高效计算
通过有效计算 path 的 iterated-integral signatures 和 log signatures,基于 differential equations driven by rough paths 的理论,结合统计学和机器 - NIPS算法线性受限高斯过程
本文提出了一种基于 Gr"obner bases 算法构建满足线性微分方程的多输出高斯过程先验分布的方法,并将其应用于物理、地球数学和控制等多个领域,将随机学习和计算机代数学相结合,实现了噪声观测和精密计算的结合。
- 物理过程的深度学习:融入先前的科学知识
用深度学习方法建模复杂现象,以海表温度预测为例,展示了从物理学中获取的背景知识如何指导设计高效的深度学习模型,并证明了一个物理现象的微分方程的解与提出的模型之间的形式上的联系。
- 优化算法背后的物理系统
应用基于微分方程的方法,通过将优化算法与物理系统相联系的思想,研究如何分析梯度下降、坐标梯度下降、牛顿等算法及其加速变体在机器学习中的动态,此分析适用于更广泛的算法和优化问题,超越凸性和强凸性的限制。
- 矩截断方法 —— 简述
本文简要回顾了瞬时闭合方法在不同上下文中所发挥的作用,同时通过几何解释揭示了为何很难严格证明许多瞬时封闭方法的近似,尽管它们在实践中非常有效。
- 一个粗路程的签名:唯一性
这篇论文探讨了控制微分方程的 signature 函数,在 Banach 空间的弱几何粗路径中使用 Hambly-Lyons 的 “树状路径” 的概念,通过引入一个新的简化路径定义和一个引理将简化路径群识别为 signature 空间。
- 基于再生核希尔伯特空间的普通微分方程系统估计
提出了一种基于惩罚最大似然的一般方法来估计带噪声的微分方程组的参数,并使用再生核希尔伯特空间方法来将估计问题形式化为易于解决的无约束数值最大化问题,并用合成的数据测试了所提出的方法,并使用基因表达数据估计未观察到的转录因子 CdaR 在 S - 逆问题的贝叶斯方法
本文讲述了在微分方程反问题的模型制定和算法开发过程中,贝叶斯方法的数学和计算结构,并且探讨了其在数学模型与数据相结合的应用中,不确定性量化的基础作用。
- 一种用于动态低秩逼近的投影分离整合器
本研究提出并分析了一种计算简便的完全显式数值积分器,其基于正交投影算子在低秩流形的切空间上的分裂,被应用于求解与时间相关的低秩矩阵的微分方程,并在数值实验中展示了其稳健性及灵活性。
- 由 Π- 粗路径驱动的微分方程
本文重新思考了由 Lyons 构思的不同光滑度的不均匀粗糙路径(在我们的术语中称为几何 π- 粗糙路径),并证明了在更弱的条件下可能存在一阶形式的积分,同时考虑由几何 π- 粗糙路径驱动的微分方程并提供了解的充分条件。
- Magnus expansion 及其部分应用
本综述回顾了 Magnus 展开的多个发展和应用,涉及微分方程、数值积分、微扰理论和对称性等领域,同时介绍了其作为一种特殊用途数值积分方法的实现,并展示了它与微扰方案和标准数值积分器的对比情况。
- 不变量和变分问题
应用变分的形式计算与李群理论的方法,在变分问题中所得到的微分方程,可用连续的李群表达最一般形式的定理,而非仅仅是一般情况下的任意微分方程。在特定的有限或无限李群问题中,已有不同细节的证明,其中 Klein 的第二笔记对本文做出了互相影响的贡 - 人工神经网络求解常微分方程和偏微分方程
本研究提出了一种使用人工神经网络解决初始和边界值问题的方法,其中差分方程的试验解被写成两部分的和,第一部分满足边界条件,不包含任何可调参数,第二部分涉及前馈神经网络,包含可调参数(权重)。因此,通过构造满足边界条件的方法,使神经网络训练满足