通过相关动力模型增强神经网络训练

Dec, 2023

通过相关动力模型增强神经网络训练

Enhancing Neural Training via a Correlated Dynamics Model

Jonathan Brokman, Roy Betser, Rotem Turjeman, Tom Berkov, Ido Cohen...

TL;DR神经网络训练过程中的参数在时间上呈现内在关联性，使用相关模式分解（CMD）算法可以将参数空间有效地划分为展现跨周期同步行为的群组，从而仅使用少数模式即可有效地表示 ResNets 和 Transformers 等复杂网络的训练动态，并提升测试集泛化能力。CMD 能够增强训练效率和降低通信开销，进一步的实验表明 CMD 在图像分类中紧凑模型动态建模方面超过现有方法，尤其在联邦学习背景下有显著优势。

Abstract

As neural networks grow in scale, their training becomes both computationally demanding and rich in dynamics. Amidst the flourishing interest in these training dynamics, we present a novel observation: Parameters

neural networks training dynamics correlation mode decomposition complex networks test set generalization

发现论文，激发创造

利用动态模式分解在大规模神经记录中提取时空一致的模式

本文以动态模态分解算法为基础，结合机器学习方法，研究人脑神经元的大规模信号记录及其体内活动，并通过睡眠肌阵振网络的提取，验证了该算法在脑神经元信号记录分析方面的高效性和适用性。

Sep, 2014

模块化网络：学习分解神经计算

本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

Nov, 2018

通过动态模态分解学习非自治系统

本研究提出了一种基于动态模态分解（DMD）的面向未知非自治动态系统时间依赖输入的数据驱动学习方法，该方法利用本地参数化外部时间依赖输入的修正系统作为原始非自治系统的近似，包括一系列本地参数化系统，可以通过参数空间中的降维和插值框架（DRIPS）构建参数化代理模型。

Jun, 2023

线性循环自编码器网络用于学习动力学

本文提出了使用神经网络逼近 Koopman 算子的方法来学习非线性动态系统的低维逼近，并且讨论了与这种方法相关的数据表示问题和过拟合问题，提出了一种结合自编码器和线性递归动力学的新型神经网络架构来学习 Koopman 不变子空间。同时，还提出了在特征空间下过度规定的 EDMD 系统的均衡模型缩减方法和使用多核回归算法来提高低维状态下数据重构的精度，最后通过案例研究验证了这些技术的有效性。

Dec, 2017

多分辨率动态模式分解

通过将动态模分解（Dynamic mode decomposition，DMD）与多分辨率分析相结合，本文提出了一种分解方法，可以将复杂系统分解成一系列多分辨率时间尺度组件，从而有效解决动力学数据分离等问题，并且在多尺度动态数据的示例数据上展示了其出色的分解结果。

Jun, 2015

控制动态模态分解

本研究提出了一种名为 DMDc 的新方法，在保留传统动态模式分解 (DMD) 的优点的同时，能够将外部驱动信号与模型本身动力学有机结合，实现了准确提取复杂系统的低阶模型。该方法不需要系统方程的知识，只需要使用实验或历史快照数据即可。我们将该方法应用于具有广泛应用前景、复杂度高的多个实际案例。

Sep, 2014

从轨迹中元学习可推广的动力学

本论文提出了解释性元神经微分方程 (iMODE) 方法，用于快速学习多个动力系统的通用动力学，学习到这些系统的力场功能变化，可以将先验物理知识方便地嵌入神经网络结构，对 unseen system 进行建模并反推系统的物理参数，或作为神经规的一部分来 “测量” 看不见系统的物理参数。

Jan, 2023

DeepGraphDMD: 非线性功能性脑网络动态的可解释时空分解

本文介绍了一种基于动态模态分解 (Dynamic Mode Decomposition) 算法的扩展版本 GraphDMD，该算法以一种可解释的方式从 fMRI 时间序列中提取动态网络模态和它们的时间特征。作者还开发了 DeepGraphDMD，这是一种基于自动编码器的深度学习模型，用于学习任意非线性图动态系统的 Koopman 特征值，并将非线性图的动态嵌入潜在的线性空间。作者通过模拟和 HCP 静息态 fMRI 数据的实验结果表明了 DeepGraphDMD 方法的有效性，并发现了两个与流体智力和晶体智力相关的重要网络模态，这为认知脑功能提供了新的见解。

Jun, 2023

基于动态模态分解的非线性模型降阶

本文提出了一种新的技术来获取非线性动力系统的降阶模型，并且通过最近开发的动态模式分解 (DMD) 来近似非线性项，从而获得完全降阶的替代模型。通过该技术所得，可以在不影响问题精度的同时，实现计算成本的大幅度降低。作者通过一系列数字测试证明了该方法的实用性和有效性，并与现有的方法进行了比较。

Feb, 2016

神经 Koopman 动态因果发现

通过神经网络的数据驱动学习 Koopman 基础知识的 Koopman 灵感框架 (NKDCD)，可可靠地推断 Granger 因果关系以及相关的非线性动力学。

Apr, 2024