现代生成式机器学习模型展示出令人惊讶的能力,能够创造出超越其训练数据的逼真产出,如逼真的艺术作品、精确的蛋白结构或对话文本。这些成功表明生成模型学会了有效地参数化和采样任意复杂的分布。本文旨在将经典作品与大规模生成统计学习中的新兴主题联系起来,包括经典吸引子重构、隐空间模型中的潜在表示学习等。还介绍了早期利用符号近似进行比较的努力,与现代努力进行黑盒统计模型的精简和解释相关。新兴的跨学科研究桥接了非线性动力学和学习理论,如用于复杂流体流动的算子理论方法,或者检测生物数据集中打破了详细平衡的情况。我们预计未来的机器学习技术可能会重新审视非线性动力学中的其他经典概念,如信息传输衰减和复杂性 - 熵权衡问题。
Nov, 2023
该论文介绍了一个包含 131 个已知的混沌动力系统的数据库,每个系统都与预计算的多变量和单变量时间序列相匹配,这些系统涵盖了天体物理学,气象学和生物化学等领域,并对每个系统的已知数学属性进行了注释,并通过多种方式使用该数据库进行了实验。
Oct, 2021
通过将 CycleGAN 模型扩展到三个不同类别的图像之间进行转换,演示了使用循环转换进行连续图像生成的方法。经过多次训练生成器的应用,产生的图像序列在图像空间中占据了较有限的区域,并表现出混沌动力学特征。生成的图像在质量上高,但相对于训练数据集具有较低的多样性,其中的混沌动力学对于图像空间的多样性起到了作用,这构成了一种多类图像生成的新方法。
May, 2024
运用遍历理论引入机器学习的新型训练方式,强制实现系统中的动力学不变量,以提高在有限数据情况下对混沌动力学系统的长期预测能力,用回声状态网络体系结构进行演示,并以 Lorenz1996 混沌动力学系统和光谱拟地转模型为测试案例,取得了丰硕成果。
Apr, 2023
本研究中我们使用生成对抗网络(GANs)学习格点上原型随机过程,并通过合适的噪声添加成功地使生成器和判别器的损失函数接近最优值。然而,典型的对抗式方法中振荡仍然存在,这损害了模型选择和生成轨迹的质量。我们演示了使用随机生成器推进随机轨迹的适当的多模型程序,可以显著提高精度。基于报告的发现,GANs 是解决复杂统计动力学的有前途的工具。
May, 2023
通过学习和演变系统的有效动力学,我们引入生成模型来加速复杂系统的模拟。在提出的 G-LED 中,高维数据的实例被降采样到一个更低维度的流形中,并通过自回归注意机制进行演变。反过来,贝叶斯扩散模型将这个低维流形映射到相应的高维空间,捕捉系统动力学的统计特性。我们在几个基准系统的模拟中展示了 G-LED 的能力和局限性,包括 Kuramoto-Sivashinsky(KS)方程、反向阶梯上的二维高雷诺数流动和三维湍流通道流的模拟。结果表明,生成学习为以更低的计算成本准确预测复杂系统的统计特性开辟了新的前沿。
Feb, 2024
使用生成建模方法,本文提供了关于生成模型训练的理论洞察力,重点强调数据生成分布与训练数据生成分布之间的误差应随着样本量趋近无穷而趋近于零,并确保训练数据生成分布与任何复制训练数据样本的分布之间足够远。
Jul, 2023
本文开发了一个框架,以严格研究在混合数据集(包括真实和合成数据)上训练生成模型对它们的稳定性的影响。通过在 CIFAR10 和 FFHQ 上迭代训练常规流和最先进的扩散模型,我们在合成和自然图像上经验验证了我们的理论。
Sep, 2023
本研究提出了一种新的生成模型架构,可以更好地解决深度生成模型中潜在空间中的非线性扭曲问题,并提高了概率分布、采样算法和聚类效果。
Oct, 2017
使用辅助分类器 GAN 和核密度估计的生成对抗网络,能够在生成高质量高多样性 3D 对象的同时实现对其属性的控制。
Feb, 2022