- 使用变分推断学习最优滤波器
利用变分推断学习参数化分析映射,通过估计条件分布对于动态系统的滤波分布,在过滤线性和非线性动态系统中也适用。
- 神经序列模型的时滞嵌入理论
为了生成连贯的回应,语言模型从输入文本序列中推断未观察到的含义。本研究通过测试序列模型重建未观察到动态系统的能力,发现每个序列层可以学习到该系统的可行嵌入。然而,状态空间模型比变压器具有更强的归纳偏差,尤其是它们在初始化阶段更有效地重建未观 - 寻找分叉点的主动搜索
定位动力系统的分歧点对于深入理解观察到的动态行为以及设计高效干预手段至关重要。在复杂、可能存在噪声且采样成本高昂的动力系统中,我们提出了一种主动学习框架,利用贝叶斯优化从少量选择的矢量场观察中发现鞍点或者 Hopf 分歧。在资源有限的系统的 - Q-S5:朝向量化状态空间模型
探索量化对 S5 模型的影响以及将其部署到边缘和资源受限平台的有效性。使用量化感知训练(QAT)和事后量化(PTQ)系统评估了 SSM 在不同任务上的量化灵敏度,研究结果表明,循环权重低于 8 位精度时,大多数任务的性能显著下降,而其他组件 - 在动态系统建模中可学习和可解释的模型组合
将不同类型的模型进行组合,提出了一种模型接口和新的通配拓扑方法,解决了代数环和不连续模型中的本地事件影响函数的挑战,并通过证明不同模型之间的连接拓扑关系来验证了方法的有效性。
- 非线性动力系统中的潜在状态转变识别
本文旨在通过恢复底层的低维潜在状态及其时间演化来改进动力系统的泛化能力和解释能力。我们提出了一种基于变分自编码器的实用算法,并在逼真的合成环境中进行了实证研究,证明我们能够高准确性地恢复潜在状态动力学,相应地实现高未来预测准确性,并且能够快 - 基于系统感知的神经 ODE 过程用于少样本贝叶斯优化
基于系统先验信息,我们引入了一种少样本贝叶斯优化(BO)框架,该框架有效地实现了对初始条件和观测时机的优化,核心是基于多条轨迹的神经常微分方程过程(SANODEP),在此基础上提出了一种专为优化目的设计的多场景损失函数。
- 通过扩散生成模型学习近似粒子平滑轨迹
从稀疏观测数据中学习动力系统是许多领域(包括生物学、金融学和物理学)的一个关键问题。这篇论文介绍了一种将条件粒子滤波与祖先采样和扩散模型相结合的方法,能够生成与观测数据相符合的逼真轨迹。该方法基于迭代条件粒子滤波与祖先采样生成匹配观测边缘概 - 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子
神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法,本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性,并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。
- 现代时域神经网络中时间步嵌入的消失
通过深入分析现代时间相关神经网络的结构,研究报告了一个时间相关神经网络的时间感知关键缺陷,该缺陷同样存在于扩散模型中,同时提供了几种解决方案以改善问题根源,并通过对神经常微分方程和扩散模型的实验验证表明,保证时间感知能力可以提升它们的性能, - 差分代数系统的可识别性
本文介绍了一种针对非线性代数微分方程 (DAE) 模型的新型可辨识性测试方法,无需进行非线性变换、指标降低或 DAE 的数值积分。通过对不同的 DAE 模型进行可辨识性分析,展示了系统可辨识性如何依赖于传感器选择、实验条件和模型结构,该研究 - 将因果表示学习与动力系统结合用于科学
我们将因果表示学习与动力系统以及其假设联系起来,应用在可辨识的方法上,建立可辨识且实用的模型,从而解决下游任务,如分布外分类和治疗效果估计,并在真实气候数据中成功回答与现有气候变化文献相符的下游因果问题。
- 模型发现的可扩展稀疏回归:洞察力的快速通道
通过稀疏回归算法,特别是利用迭代奇异值分解的穷尽搜索,提出了一种通用的快速稀疏回归算法(SPRINT),用于从数据中直接学习具备定性简单性和人类可解释性的数学描述,该算法在大型符号库上具有合理的计算成本。
- 压缩的条件均值嵌入在线学习
通过算子值随机梯度下降的增量式学习算法,可以逐渐从数据中学习条件均值嵌入(CME),以便在大数据情况下处理可扩展性挑战,并在目标 CME 不包含在假设空间中时,提供在线压缩操作学习算法的有限样本性能保证。
- 作为概率神经算子的扩散模型用于恢复动力系统的未观测状态
本研究探讨了以扩散为基础的生成模型作为偏微分方程 (PDE) 神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性,并能够在多个真实动力系统中优于其他神经算子。此外,我们演示了概率扩散模型如何优雅地处理部分可识别的系统,通 - 物理增强机器学习:动力系统研究的一个立场文件
本篇综述研究物理增强的机器学习 (PEML) - 也被称为科学机器学习 - 特别关注开发用于解决动力系统挑战的 PEML 策略,讨论了 PEML 方法的三个广泛分类 (物理指导、物理编码和物理信息) 以及在涉及复杂动力系统的工程应用中开发 - LINOCS: 基于网络操作的连续稳定性的前瞻推理
识别复杂系统中的潜在相互作用对于深入了解其操作动态至关重要,其中包括了探究元素之间的相互影响及其对整体系统行为的贡献。我们引入了 LINOCS,这是一种用于识别噪声时间序列数据中隐藏动态相互作用的鲁棒学习过程,能够恢复动态算子并产生有意义的 - 通过梯度下降学习随机人口模型
从数据中学习机制模型的方法的发展是一个持续的努力,本文通过探索基于模拟的优化方法,讨论了参数估计与结构推断的挑战。
- 具有扩散模型的流形引导的李亚普诺夫控制
使用扩散模型为广泛的动力系统生成稳定控制器,并基于预先训练的模型在未见系统上实现快速的零样本控制和泛化能力。
- 线性动态系统的连续时间神经网络的系统构建
本文讨论了一种构建神经网络架构的系统方法,用于模拟一类动力系统,即线性时不变 (LTI) 系统。我们使用一种变种的连续时间神经网络,其中每个神经元的输出连续演化为一阶或二阶常微分方程的解。我们提出了一种无梯度算法,从给定的 LTI 系统中直