Feb, 2024

DFORM：评估学习模型之间动力学的同构矢量场对齐

HTML
PDF
TL;DRDFORM (Diffeomorphic vector field alignment for comparing dynamics across learned models) learns a nonlinear coordinate transformation to compare the trajectories of learned models, identifying functional similarities in dynamics despite differences in attractor landscapes.
发现论文，激发创造
  • 比较动态：深度神经网络与玻璃系统

    本研究利用玻璃系统在统计物理学上所开发的方法对深度神经网络(DNN)的训练动态进行了数值分析，在地址复杂度的损失面貌和网络结构等方面取得了一些独到的发现。

    Mar, 2018

  • LEADS: 在不同环境中泛化的学习动态系统

    LEADS是一种新的框架，通过在共享模型中捕捉共同动态和捕获环境特定动态的额外项，利用已知环境的共享性和差异性来提高模型的泛化能力。该方法在理论和实验上的结果表明，这种新的设置可以利用从依赖于环境的数据中提取的知识，并改善已知和新环境的泛化。

    Jun, 2021

  • 可计算的树突状循环神经网络用于重构非线性动力学系统

    本文介绍了一种基于线性样条基函数扩展动态可解释的分段线性循环神经网络（PLRNN）的方法，用于近似任意非线性动态系统。我们采用BPTT与教师强制以及快速可接受的变分推理两种框架对系统进行训练，并在各种动态系统基准测试上表明，这种方法具有更好的重建能力和更少的参数和尺寸。

    Jul, 2022

  • 神经群体动态和几何的可解释统计表征

    本研究提出了一种基于统计学习的无监督几何深度学习框架，利用局部相空间特征的统计分布来表示非线性动态系统，该方法提供了鲁棒的几何感知或几何无关的表示，可用于测量轨迹的基础上进行无偏的动力学比较，并设计了一种具有最先进准确性的解码算法。

    Apr, 2023

  • 隐空间动态网络 (LDNets): 学习时空过程内在的动力学

    对于展现时空动态响应的系统的演化进行预测是促进科学创新的关键技术，传统基于方程的方法需要大规模并行计算平台和大量的计算成本。相比之下，我们提出了一种名为Latent Dynamics Network的新型架构，该架构使用降维和深度学习算法来描述系统演化的低维潜在空间，从而预测空间依赖场对外部输入的时间演化，并在几个测试案例上验证了该方法的高效性和精确性。

    Apr, 2023

  • 超越几何：使用动态相似性分析比较神经电路计算的时间结构

    使用基于数据驱动的动态系统理论的最新进展和一种新的相似度度量方法，我们能够比较两个递归神经网络并识别它们之间的动态结构，同时能以无监督的方式区分学习规则。

    Jun, 2023

  • 通过不变分解和(时空)转换器学习潜在动态

    提出了一种方法，通过在一种框架内结合变分自动编码器和(时空)注意力机制，从高维经验数据中学习动力系统，以实现确定一定科学动力学不变的设计，这种方法允许在任何连续时刻有效推断系统行为，是从异构数据中高效学习动态模型的一种有前途的新框架。

    Jun, 2023

  • 学习可泛化动态系统的神经上下文流

    神经常微分方程通常难以推广到基础系统参数变化所创建的新动态行为，即使这些动态行为与先前观察到的行为相近。本文引入神经上下文流（NCF），一种将未观察到的参数编码成输入矢量场的潜在上下文向量的框架。NCF利用矢量场相对于参数的可微性，结合一阶泰勒展开，使得任何上下文向量都能影响其他参数的轨迹。我们验证了该方法，并将其与已建立的多任务和元学习方法进行了比较，结果表明在Lotka-Volterra、Glycolytic Oscillator和Gray-Scott问题的领域内和分布外评估中，均方误差上具有竞争力。本研究对于科学和相关领域的基础模型以及从条件神经常微分方程中受益的领域具有实际意义。我们的代码开放在此 https URL。

    May, 2024

  • 优化循环网络拓扑结构的动力系统重构

    动态系统重建中的几何修剪可以减少参数负荷，而不显著影响质量，其结果网络具有特定类型的拓扑结构，优于其他研究中的小世界或无标度网络拓扑。

    Jun, 2024

  • 实现可分性归一化的递归神经电路的无条件稳定性

    本研究解决了传统神经模型在生物学合理性与可训练性方面的瓶颈。通过将动态可分性归一化与ORGaNICs模型的稳定性关联，我们证明了在递归权重矩阵为单位矩阵时，ORGaNICs电路具有无条件局部稳定性。研究还表明，ORGaNICs在静态图像分类任务中优于其他神经动力学模型，并能够通过时间反向传播进行训练，有效应对梯度消失和梯度爆炸的问题。

    Sep, 2024