Jun, 2020

通过 Koopman 算子理论优化神经网络

PDF
TL;DR本文针对 Koopman 算子理论与神经网络训练的相关性，提出了一种应用 Koopman 算子理论实现神经网络权重和偏置快速训练的方法并在一定时间范围内得到了验证，而且这种方法优于目前主流的基于梯度下降的方法 10 倍以上。未来的工作将着重于扩展这种方法到更广泛的网络分类和更大的训练时间间隔。
发现论文，激发创造
  • 深度学习神经网络表征非线性动力系统的 Koopman 算符

    这篇文章提出了一种基于深度学习的方法来学习非线性动力学系统的 Koopman 算子，自动选择高效的深度字典来描述这些系统，并成功预测了未来 100 步的量化预测和 400 步的定性振荡行为。

    Aug, 2017

  • 分析序列神经网络的算子理论方法

    本文提出了一种基于算子理论的分析深度神经网络的方法，该方法利用 Koopman 算子、特征向量和特征值提供了对网络内部机制的全局性和语义性分析。

    Feb, 2021

  • 神经网络中的非线性提取与 Koopman 算子模型压缩

    深度神经网络中的非线性起着关键作用。本论文首先探讨了神经网络非线性的必要程度，然后提出了一种用于深度神经网络的模型压缩方法，该方法利用 Koopman 算子允许我们在神经网络的内部处理中使用线性代数，并在手写数字识别任务中得到了与传统方法相当或更好的成果。

    Feb, 2024

  • 使用 Koopman 消息传递学习非线性网络动力学的线性嵌入

    本文提出了一种基于 Koopman 算子理论和消息传递网络的新方法，可以在任意时间步骤上全局有效地找到动态系统的线性表示，并应用于非线性网络动态问题及神经网络体系结构的高度非线性培训动态，获得了比当前技术水平高数个数量级的预测精度。

    May, 2023

  • 动力系统的现代 Koopman 理论

    介绍了最新的 Koopman 算子理论及算法发展，重点强调了这些方法在各种应用领域中的作用，同时讨论了机器学习中的重大进展和挑战，这些可能推动未来的发展并显著转变动力系统的理论面貌。

    Feb, 2021

  • 基于深度 Koopman 表达的策略学习

    本文提出了一种基于 Koopman 算子理论和策略梯度方法的政策学习算法，该算法将未知动态系统的线性逼近和最优政策搜索相结合，引入所谓的深度 Koopman 表示来提高数据效率，并应用贝尔曼最优原理来避免逼近系统动态引起的长期任务的累积误差，同时提供理论分析以证明所提出算法的渐近收敛性和采样复杂度。

    May, 2023

  • 用 Koopman 运算符学习加速量子优化和机器学习

    该论文使用 Koopman 算子学习通过动态模态分解和神经动态模态分解的两种新方法加速量子优化和量子机器学习，并在实际 IBM 量子计算机上进行了实现和测试。

    Nov, 2022

  • 关于算法的 Koopman 算子

    本文提出了一种数值算法的数学框架，并利用 Koopman 操作符框架在高维空间中对优化算法进行了数据驱动的研究，通过适应性数据的基础函数帮助构建了有效的降维算子，以实现算法的加速和分析。

    Jul, 2019

  • Koopman 算子动态模型：学习、分析和控制

    本篇论文探讨了 Koopman 算子理论在处理非线性系统方面的应用，着重介绍了 Koopman 算子动力学模型中各种现有方法的优缺点，分析了 Koopman 算子理论与系统理论概念的关系及其在控制系统建模中的潜力，同时讨论了当前的挑战和未来的发展方向。

    Feb, 2021

  • 学习组合 Koopman 算子用于基于模型的控制

    本文提出了使用图神经网络对对象进行编码，使用分块的线性转移矩阵来规范化对象之间的共享结构，从而学习组合型 Koopman 操作符，以实现非定常系统的建模与控制。我们的实验结果表明，与现有的基线相比，所提出的方法具有更好的效率和泛化能力。

    Oct, 2019