Jul, 2023

利用图神经网络将随机动态系统学习作为隐式正则化

PDF
TL;DR该论文提出了一种基于 Gumbel 图网络的随机模型，能够学习高维度时间序列，捕捉随机性和空间相关性，通过 Kuramoto 的模型比较了两个损失函数的 Hessian 矩阵，实验证明该模型在收敛性、稳健性和泛化性方面都具有优势。
stochasticgumbel graph networksspatial correlationimplicit regularizationkuramoto's model
发现论文，激发创造
  • 网络重构与动态学习的通用深度学习框架

    通过提出 Gumbel Graph 网络 (GGN) 框架，我们展示了一种模型自由、数据驱动的深度学习方法，可用于重建网络连接并预测时间序列的状态。该框架在连续、离散、二进制等不同类型的时间序列数据上展现了显著的对比优势。

    Dec, 2018

  • GSNs：生成随机网络

    提出了一种新的基于马尔科夫链的生成随机网络（GSN）框架作为概率模型的训练原则，并通过具有反向传播的梯度来学习该链的转移算子，该理论提供了关于依赖网络和广义伪似然的有趣解释，试验结果验证了该理论在两个图像数据集中的有效性，并且在训练时不需要层次预训练。

    Mar, 2015

  • 基于反向传播训练的深度生成随机网络

    该论文提出了一种新的概率模型训练原则 —— 基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。

    Jun, 2013

  • 图神经随机微分方程

    我们提出了一种新颖的模型，即图神经随机微分方程（Graph Neural SDEs）。此技术通过使用布朗运动将随机性嵌入数据表示，提升了图神经常微分方程（Graph Neural ODEs），允许评估预测的不确定性，尤其在置信度预测方面超过了常规模型如图卷积网络和图神经常微分方程，使其在处理静态和时空上下文中的超出分布检测方面更加优越。

    Aug, 2023

  • 随机微分方程网络学习

    该篇论文研究了使用线性模型描述随机动态的网络 (有向图) 的学习问题，并证明了在较高采样率的情况下，利用 $\ell_1$- 正则化最小二乘算法可以高效地推断出稀疏网络结构。

    Nov, 2010

  • 用图神经随机微分方程学习布朗运动动力学

    本文提出了一种结合随机微分方程和图神经网络的框架 (BROGNET), 用于直接从轨迹学习布朗运动，并在多个系统上进行了实验验证，证明了其在学习动力学方面的优越性和对不同尺度和温度的泛化能力.

    Jun, 2023

  • 用 Hamiltonian 图神经网络直接从轨迹中发现符号规律

    利用哈密尔顿图神经网络 (HGNN) 直接从物理系统轨迹学习系统动力学，推断能量泛函的根本方程，并从物理系统轨迹中透明地发现相互作用定律。

    Jul, 2023

  • 神经网络的自然 Langevin 动力学

    在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

    Dec, 2017

  • 使用图神经网络学习复杂系统的动力学和结构

    本研究训练了图神经网络以适应来自非线性动力系统的时间序列，发现了学习表示和模型组件的简单解释，并成功地确定了 ' 图翻译器 '，使两种新类型广义：仅基于时间序列观测来恢复新系统实例的潜在结构，或者直接从该结构构造新网络。结果表明，理解复杂系统的动态和结构及其如何用于泛化的途径。

    Feb, 2022

  • 动态高斯图算子：在任意离散力学问题中学习参数化的偏微分方程

    本文提出了一种名为动态高斯图算子（DGGO）的新型算子学习算法，它将神经操作器扩展到任意离散力学问题中的学习参数偏微分方程（PDEs），通过动态高斯图（DGG）核将在一般欧几里得空间中定义的观测向量映射到高维均匀度量空间中定义的度量向量，致力于解决复杂的计算域上的通用性问题。

    Mar, 2024