Sep, 2024

通过Koopman算子理论将神经网络层表示为线性运算

HTML
PDF
TL;DR本研究解决了神经网络中非线性激活函数理解和控制的难题。通过运用Koopman算子理论，将神经网络视为动态系统，提出了一种将预训练多层感知器中的非线性层替换为有限维线性算子的全新方法。实验证明，此方法在Yin-Yang和MNIST数据集上取得了与原模型相近的高准确率，展示了该方法在神经网络简化与优化中的潜在影响。
发现论文，激发创造
  • 深度学习神经网络表征非线性动力系统的Koopman算符

    这篇文章提出了一种基于深度学习的方法来学习非线性动力学系统的Koopman算子，自动选择高效的深度字典来描述这些系统，并成功预测了未来100步的量化预测和400步的定性振荡行为。

    Aug, 2017

  • 学习Koopman不变子空间用于动态模态分解

    该研究提出了一种基于数据驱动的Koopman谱分析方法，该方法通过最小化线性最小二乘回归的残差平方和来估计一组将数据转换为线性回归适合的形式的函数，并采用神经网络实现并在非线性动力系统及其应用中进行了实证评估。

    Oct, 2017

  • 线性循环自编码器网络用于学习动力学

    本文提出了使用神经网络逼近 Koopman 算子的方法来学习非线性动态系统的低维逼近，并且讨论了与这种方法相关的数据表示问题和过拟合问题，提出了一种结合自编码器和线性递归动力学的新型神经网络架构来学习 Koopman 不变子空间。同时，还提出了在特征空间下过度规定的 EDMD 系统的均衡模型缩减方法和使用多核回归算法来提高低维状态下数据重构的精度，最后通过案例研究验证了这些技术的有效性。

    Dec, 2017

  • 非线性动力学的通用线性嵌入的深度学习

    本文利用深度学习，从动态系统的轨迹数据中发现Koopman特征函数的表示，提出了一种改进的自动编码器模型，可以识别非线性坐标，将动力学嵌入到低维流形上，并将Koopman表示推广到具有连续谱的系统。

    Dec, 2017

  • 深度变分Koopman模型：推断Koopman观测以实现不确定动态建模和控制

    该研究介绍了Deep Variational Koopman模型的方法，可以推断随时间线性传播的观测分布，从而获得动力模型的分布并提供模型系统随时间推进的可能结果分布，同时也将学习的模型应用到控制框架中并表明考虑到分布中存在的不确定性能更好地控制。

    Feb, 2019

  • 运用 Koopman 模态分析于神经网络

    本研究利用 Koopman 操作符对神经网络的训练过程进行研究，通过监控其谱和模态实现确定网络深度、优化初始化、减少噪音干扰和提升鲁棒性，并探究以负 Sobolev 规范为基础的损失函数在恢复受极大噪音污染的信号方面的应用。

    Jun, 2020

  • 分析序列神经网络的算子理论方法

    本文提出了一种基于算子理论的分析深度神经网络的方法，该方法利用Koopman算子、特征向量和特征值提供了对网络内部机制的全局性和语义性分析。

    Feb, 2021

  • 动力系统的现代Koopman理论

    介绍了最新的Koopman算子理论及算法发展，重点强调了这些方法在各种应用领域中的作用，同时讨论了机器学习中的重大进展和挑战，这些可能推动未来的发展并显著转变动力系统的理论面貌。

    Feb, 2021

  • 使用Koopman消息传递学习非线性网络动力学的线性嵌入

    本文提出了一种基于Koopman算子理论和消息传递网络的新方法，可以在任意时间步骤上全局有效地找到动态系统的线性表示，并应用于非线性网络动态问题及神经网络体系结构的高度非线性培训动态，获得了比当前技术水平高数个数量级的预测精度。

    May, 2023

  • 超出预期：用于随机动力系统的剩余动态模态分解和方差

    透过引入方差，我们处理了Koopman框架中的一些挑战，从而实现了对随机Koopman算子的谱特性的可验证计算，并引入了方差-伪谱概念来评估统计一致性。最后，我们利用模拟和实验数据展示了其在神经记录中如何揭示对于标准基于期望的动力学模型不可见的重要生理信息。

    Aug, 2023