NIPSJun, 2020

神经平均场动力学的网络扩散

PDF
TL;DR本文提出了一种基于神经平均场动力学的新型学习框架，用于解决网络扩散的推理和估计问题，该框架利用 Mori-Zwanzig 形式主义从节点感染概率的精确演化获得，形 成一个高度结构化和可解释的 RNN，可用于联合学习扩散网络的结构和感染概率的演化，这是影响最大化等重要下游应用的基石。此外，本文还建立了参数学习和最优控制之间的联系。实证研究表明，我们的方法具有多样性和鲁棒性，可以在合成数据和真实世界数据上显著优于现有方法的准确性和效率。
neural mean-field dynamicsdiffusion on networksinference and estimation problemsdelay differential equationinfection probabilities
发现论文，激发创造
  • 通用随机神经网络的动力学均场理论介绍

    介绍了一种名为 DMFT 的物理工具，并使用通用随机神经网络作为例子，展示了 DMFT 的本质和基础物理。同时，同时讨论了相应的变体方法，比如动态空腔方法，并且详细介绍了求解 DMFT 方程的数值实现以及相关的应用和研究。

    May, 2023

  • 通过松弛最优控制的均场神经 ODE

    本文介绍了一种基于控制论、深度学习和统计抽样理论的框架，来研究深度神经网络和神经 ODE 模型，包括 Mean-Field Langevin 动力学的梯度流、时间一致传播的混沌性等问题，并提供了与学习速率、粒子数 / 模型参数和梯度算法迭代次数相关的显式收敛速率和量化一般化误差界限。

    Dec, 2019

  • 揭示扩散网络的时间动态

    针对在网络上的信息 / 影响 / 疾病扩散，本研究提出了一种基于离散网络的连续时间过程模型，通过已感染节点的传染事件推断全局扩散网络的边缘和每条边缘的传输速率，进而预测、影响和抑制感染传播。该模型具有稀疏解决方案，无需参数调整，可轻松适用于规模在数千到数十万的网络，实验证实了该算法的效果良好。

    May, 2011

  • 网络推理和影响估计的可扩展连续时间扩散框架

    我们通过将扩散过程视为连续时间动力系统，建立了一个连续时间扩散模型，以此来推断潜在的网络结构，并且通过高级抽样技术提高了影响力估计的可扩展性，FIM 在网络推断和影响力估计方面具有显著的效果和优越的可扩展性。

    Mar, 2024

  • 图上的广义神经扩散框架

    提出了一个带有准确性项的一般扩散方程框架，从而形式化地建立了扩散过程与更多图卷积网络之间的关系，并通过实验证明了高阶邻居标签之间的相似性特征，推动了新型图扩散网络（HiD-Net）的设计。

    Dec, 2023

  • 随机微分方程的黑匣子变分推理

    本文介绍了一种使用欧拉 - 马鲁雅马方法对扩散过程离散化，并应用变分推断方法共同学习参数和扩散路径的方法。这种方法使用平均场变分近似参数后验分布，并引入递归神经网络来近似参数条件下扩散路径的后验分布，所得结果可用于具有轻微调整需求的任何 SDE 系统，并在短短几个小时内产生准确的参数估计。

    Feb, 2018

  • 微观级联预测的神经扩散模型

    我们提出了一种基于神经扩散模型的微观级别的信息传播预测方法，它加入了注意机制和卷积网络的深度学习技术，能够更好地拟合真实世界的传播数据，并实现了相对改进高达 26% F1 分数。

    Dec, 2018

  • 多层神经网络均值场极限的严格框架

    本研究发展了多层神经网络的数学严格框架，探究其在平均场条件下的学习轨迹，并证明了一些神经网络的性质，包括全局收敛性和初始化的影响。其中的新概念包括概率嵌入和双向多样性。

    Jan, 2020

  • 神经流动扩散模型：可学习的前向过程用于改进扩散建模

    传统扩散模型通常依赖于固定的前向过程，本文引入神经流扩散模型（NFDM），通过支持更广泛的前向过程以及提出一种新颖的参数化技术来增强扩散模型，实现了无需模拟的端到端优化目标，从而有效地最小化负对数似然的变分上界。实验证据显示 NFDM 具有出色的性能，表现为最先进的似然估计。此外，我们还研究了 NFDM 在学习具有特定特征的生成动态，如确定性直线轨迹方面的潜力，这一探索彰显了 NFDM 的多样性和广泛应用潜力。

    Apr, 2024

  • 随机神经网络的路径积分方法

    通过使用路径积分的系统方法，我们研究了大尺寸随机神经网络的动态，除了推导动态均场方程，计算系统的李雅普诺夫指数，还首次计算了均值场方程波动谱，并从中推导出参数的稳定性条件及系统的有限尺度修正。

    Sep, 2018