Jun, 2023

通过多变量占据核函数学习高维非参数微分方程

PDF
TL;DR提出了一种使用向量值再生内积核空间提供的隐式公式的线性方法来学习非参数 ODE 系统的学习算法，其解决方案依赖于与解决方案轨迹相关的多元占用核函数，这在高度非线性的模拟和实际数据上进行了验证，并通过学习非参数一阶拟线性偏微分方程的方法证明了其多样性。
nonparametric systemordinary differential equationsvector-valued reproducing kernel hilbert spacesminimization problemmultivariate occupation kernel functions
发现论文，激发创造
  • 使用高斯过程学习未知的常微分方程模型

    研究提出了一种基于高斯过程矢量场的非参数 ODE 建模方法，可以不需要先验知识学习任意连续时间系统的基本动力学，并利用稀疏数据推断系统的未来动态和进行模拟。

    Mar, 2018

  • 基于再生核希尔伯特空间的普通微分方程系统估计

    提出了一种基于惩罚最大似然的一般方法来估计带噪声的微分方程组的参数，并使用再生核希尔伯特空间方法来将估计问题形式化为易于解决的无约束数值最大化问题，并用合成的数据测试了所提出的方法，并使用基因表达数据估计未观察到的转录因子 CdaR 在 Steptomyes coelicolor 中的作用。

    Nov, 2013

  • 随机占据核方法用于系统识别

    使用占位核方法从数据中非参数地学习常微分方程，提出了一种两步法来学习随机微分方程的漂移和扩散，第一步使用占位核算法学习漂移，第二步使用半定规划学习扩散，以核的平方关联的 RKHS 中学习扩散的平方作为非负函数。

    Jun, 2024

  • 通过神经微分方程进行分布学习：一种非参数统计的观点

    用普通微分方程（ODE）模型通过似然最大化进行训练的分布学习的非参数统计收敛分析是首次建立的，将速度场类和目标密度的相关收敛率以及对神经网络的影响纳入考虑。

    Sep, 2023

  • 具有快速收敛速度的随机微分方程的非参数学习

    本论文提出了一种非参数学习算法，利用状态的离散时间观测来识别非线性随机微分方程的漂移和扩散系数，其中的关键思想是拟合相应的 Fokker-Planck 方程的 RKHS 近似，通过理论估计学习率，而这个学习率与以前的方法不同，当未知漂移和扩散系数的可靠性更高时，变得更加紧密。由于我们的方法是基于核的，离线预处理可以被有利地利用以实现有效的数字实现。

    May, 2023

  • 使用核函数的流形度量匹配用于生成建模

    该文章提出了一个概率测度传输的一般框架，利用常微分方程和再生核希尔伯特空间进行最小差异生成建模和采样，受到微分同胚匹配和图像注册的思想的启发。通过理论分析，给出了该方法的先验误差界限，包括模型复杂度、训练集中的样本数量和模型规范错误等因素。大量的数值实验进一步展示了该方法的特性、优势和弱点，并扩展了其在条件模拟和推理等其他任务中的适用性。

    Feb, 2024

  • 基于多小波算子的微分方程学习

    本文介绍了一种基于多小波神经算子学习方案的解微分方程的方法，该方法使用细粒度小波压缩相关算子的内核，并通过显式嵌入逆小波滤波器，将内核投影到固定的多项式基上进行训练，在多个尺度上训练投影内核，实现了解微分方程的分辨率独立方案。与现有的神经算子方法相比，我们的模型在一系列数据集上展现出更高的准确性，并取得了最新的成果。

    Sep, 2021

  • 使用再生核希尔伯特空间学习哈密顿动力学

    本论文提出了一种学习哈密顿动力学的方法，能够从有限的数据点中学习哈密顿向量场，使用具有哈密顿性质的向量场在重构核希尔伯特空间上进行正则优化，并要求向量场为奇数或偶数。通过使用辛核函数，论文展示了如何修改这个辛核函数为奇数或偶数，并通过模拟验证了该方法在两个哈密顿系统中的性能，证明了所学到的动力学是哈密顿的，并且所学到的哈密顿向量场可以指定为奇数或偶数。

    Dec, 2023

  • 核化马尔科夫决策过程中的在线学习

    研究了采用非参数高斯过程先验的 UCRL 和后验抽样算法的在线学习方法在未知的连续状态和动作的马尔可夫决策过程中最小化后悔的问题，在频率设置下，通过对核函数诱导的函数的再生核希尔伯特空间的真实 MDP 的转移和奖励函数的成员进行变异，研究了这些算法的后悔边界问题，并突出了转移和奖励函数对学习性能的影响。

    May, 2018

  • 高维极限下非线性对比学习模型的训练动态

    通过对单层非线性对比学习模型的训练动态进行高维度分析，本研究揭示了模型权重的经验分布收敛至由 McKean-Vlasov 非线性偏微分方程（PDE）所控制的确定性测度。在 L2 正则化的情况下，该 PDE 简化为一组封闭的低维常微分方程（ODEs），反映出模型在训练过程中性能的演变。我们分析了 ODEs 的固定点位置及其稳定性，揭示了几个有趣的发现。首先，只有隐藏变量的二阶矩影响到了在状态具有非信息性初始化时的特征可学习性。其次，更高阶矩通过控制吸引区域而影响到特征选择的概率，而不会影响局部稳定性。最后，添加到数据增强中的独立噪声会降低性能，而负相关的噪声则可以减少梯度估计的方差并提高性能。尽管该分析模型相当简单，但其呈现出丰富的训练动态现象，为理解实际大型模型背后的更复杂机制提供了一种途径。

    Jun, 2024