差分高斯过程流深度学习

Oct, 2018

Deep learning with differential Gaussian process flows

Pashupati Hegde, Markus Heinonen, Harri Lähdesmäki, Samuel Kaski

TL;DR提出了一种新的深度学习范例 —— 差分流，其通过先学习输入的随机微分方程变换，再进行标准分类或回归处理。微分高斯过程的关键属性是通过无穷深度但无穷小的微分场对输入进行扭曲，将离散层推广为动态系统，证明了其优于深度高斯过程和神经网络的最先进成果。

Abstract

We propose a novel deep learning paradigm of differential flows that learn a stochastic differential equation transformations of inputs pr

deep learning differential flows stochastic differential equation classification regression function

发现论文，激发创造

变分高斯过程扩散过程

本文提出了一种基于连续指数族描述的高斯变分过程的参数化方法，利用凸优化算法来解决具有非线性扩散过程先验的潜在过程的生成模型下的概率推断和学习问题。

Jun, 2023

利用高斯过程学习线性微分方程

本文利用概率机器学习的最新进展，发现由参数线性方程表达的守恒定律，通过高斯过程先验根据此类算子的特定形式进行修改并用于从稀疏和可能嘈杂的观测中推断出线性方程的参数，这些观测可以来自实验或 “黑盒” 计算机模拟。

Jan, 2017

算法线性受限高斯过程

本文提出了一种基于 Gr"obner bases 算法构建满足线性微分方程的多输出高斯过程先验分布的方法，并将其应用于物理、地球数学和控制等多个领域，将随机学习和计算机代数学相结合，实现了噪声观测和精密计算的结合。

Jan, 2018

无需梯度匹配的高斯过程学习随机微分方程

该论文提出了一种全新的学习随机微分方程（SDE）的非参数漂移和扩散函数的新方法，学习通过对非均匀时间增量和任意稀疏度的观察进行路径分布的模拟，证明了该方法的学习系统是鲁棒且高效的。

Jul, 2018

深度条件生成学习：模型和误差分析

我们介绍了一种基于常微分方程（ODE）的深度生成方法，称为条件 Follmer 流。该方法能够将标准高斯分布有效地转换为目标条件分布。在实现上，我们使用欧拉方法离散化流，并使用深度神经网络非参数地估计速度场。此外，我们推导出学习样本分布与目标分布之间的 Wasserstein 距离的非渐近收敛速率，为通过 ODE 流进行条件分布学习提供了首个全面的端到端误差分析。我们的数值实验展示了其在一系列场景中的有效性，从标准的非参数条件密度估计问题到涉及图像数据的更复杂挑战，证明了它在各种现有条件密度估计方法上的优势。

Feb, 2024

微分方程作为深度神经网络的模型

本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。

Sep, 2019

深高斯过程

本文介绍了深度高斯过程模型，该模型可用于稀少数据的拟合，以及通过贝叶斯方法进行模型选择。

Nov, 2012

深度卷积高斯过程

本论文提出了基于卷积结构的深度高斯过程模型，是一种基于贝叶斯原则的图像分类方法，能够有效的利用局部特征，改善了传统的高斯过程方法在 MNIST 和 CIFAR-10 数据集上的分类准确性，尤其是 CIFAR-10 数据集上准确率提高了超过 10 个百分点。

Oct, 2018

高斯过程学习非线性动力学

科学机器学习中，通过贝叶斯推断模型参数，利用状态数据和相关性构建似然函数，从而学习非线性动力学模型。

Dec, 2023

通过双重过程将随机微分方程嵌入神经网络

文章提出了一种新的构建神经网络用于预测随机微分方程期望的方法，该方法不需要输入和输出的数据集，而是直接比较神经网络中的权重与从时间演化方程获得的信息，通过构建神经网络来演示了 Ornstein-Uhlenbeck 方程和带有噪声的 van der Pol 系统。

Jun, 2023