Nov, 2023

非线性动力学的生成学习

PDF
TL;DR现代生成式机器学习模型展示出令人惊讶的能力，能够创造出超越其训练数据的逼真产出，如逼真的艺术作品、精确的蛋白结构或对话文本。这些成功表明生成模型学会了有效地参数化和采样任意复杂的分布。本文旨在将经典作品与大规模生成统计学习中的新兴主题联系起来，包括经典吸引子重构、隐空间模型中的潜在表示学习等。还介绍了早期利用符号近似进行比较的努力，与现代努力进行黑盒统计模型的精简和解释相关。新兴的跨学科研究桥接了非线性动力学和学习理论，如用于复杂流体流动的算子理论方法，或者检测生物数据集中打破了详细平衡的情况。我们预计未来的机器学习技术可能会重新审视非线性动力学中的其他经典概念，如信息传输衰减和复杂性 - 熵权衡问题。
generative machine learning modelsparametrizing chaoslatent representationssymbolic approximationsnonlinear dynamics
发现论文，激发创造
  • 通过内部高维混沌活动进行生成建模

    利用高维混沌系统中的内部混沌动力学作为一种从训练数据集中生成新数据点的方法，在一组基本架构中通过简单的学习规则来实现这一目标，并通过标准准确度度量来表征生成数据点的质量。

    May, 2024

  • 基于多步神经网络的非线性动力系统数据驱动发现

    这篇论文提出了一种利用深度神经网络和数值分析相结合的机器学习方法，用于从数据中识别非线性动态系统，以此预测未来状态和识别吸引基。在多个基准问题中，论文证明了该方法的有效性，包括学习洛仑兹系统、圆柱背后的流体动力学、Hopf 分岔和糖酵解振荡器模型。

    Jan, 2018

  • 高斯过程学习非线性动力学

    科学机器学习中，通过贝叶斯推断模型参数，利用状态数据和相关性构建似然函数，从而学习非线性动力学模型。

    Dec, 2023

  • 深度学习的统计理论综述：逼近、训练动态和生成模型调查

    这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

    Jan, 2024

  • 复杂系统动力学预测的生成学习

    通过学习和演变系统的有效动力学，我们引入生成模型来加速复杂系统的模拟。在提出的 G-LED 中，高维数据的实例被降采样到一个更低维度的流形中，并通过自回归注意机制进行演变。反过来，贝叶斯扩散模型将这个低维流形映射到相应的高维空间，捕捉系统动力学的统计特性。我们在几个基准系统的模拟中展示了 G-LED 的能力和局限性，包括 Kuramoto-Sivashinsky（KS）方程、反向阶梯上的二维高雷诺数流动和三维湍流通道流的模拟。结果表明，生成学习为以更低的计算成本准确预测复杂系统的统计特性开辟了新的前沿。

    Feb, 2024

  • 学习稳定深度动力学模型

    本文提出了一种稳定学习动态系统的方法，该方法采用联合学习动态模型和李雅普诺夫函数的方法，这样学习的系统在整个状态空间内保持稳定，同时它也能够被结合到其他深度生成模型中学习复杂的动态系统，例如视觉纹理。

    Jan, 2020

  • 学习吸引子动力学用于生成记忆

    本研究展示了一个基于 Kanerva 机器提出的记忆写入即推理的思想，通过训练一个生成式分布式记忆，最大化其变分下界导出一个儒雅彼诺夫函数。实验结果表明，在迭代读取中收敛到正确的模式，并且在记忆模型和生成模型方面都具有有竞争力的性能。

    Nov, 2018

  • AI-Lorenz：一种用于深度学习物理推理的黑盒和灰盒混沌系统鉴定框架

    通过从嘈杂和稀疏的可观测数据中识别微分方程，我们开发了一个框架，学习建模复杂动力行为的数学表达式，从而填补了基于经验数据而非已知物理机制的系统的数学模型的空白。

    Dec, 2023

  • 机器学习在动态系统建模与分析中的应用

    使用物理上知悉的神经网络方法来分析含有一种运动第一积分的非线性哈密顿系统，并提出了一种结构，将现有的哈密顿神经网络结构与 Adaptable Symplectic 循环神经网络相结合，可以在整个参数空间内预测动力学，保留哈密顿方程以及相空间的辛结构。同时，利用神经网络的高维非线性能力，结合 Long Short Term Memory 网络进行判断嵌入定理的实现，构造系统的延迟嵌入，并将拓扑不变吸引子映射到真实形式。该方法对于单参数势能有效，并且即使在较长时间内也能提供准确的预测结果。

    Jul, 2023

  • 多模型生成对抗网络基于随机动态学习与精确生成

    本研究中我们使用生成对抗网络（GANs）学习格点上原型随机过程，并通过合适的噪声添加成功地使生成器和判别器的损失函数接近最优值。然而，典型的对抗式方法中振荡仍然存在，这损害了模型选择和生成轨迹的质量。我们演示了使用随机生成器推进随机轨迹的适当的多模型程序，可以显著提高精度。基于报告的发现，GANs 是解决复杂统计动力学的有前途的工具。

    May, 2023