本研究介绍了一种基于输入凸神经网络的渐进 Wasserstein 流逼近方法,无需领域离散化或粒子模拟,可用于机器学习应用,例如非线性滤波。
Jun, 2021
本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
本文介绍了由 Optimal Transport 理论激发的、参数化反演模型的自然和有效表示 ——Convex Potential Flows (CP-Flow),提供了一个新的梯度估计器以最大限度地提高模型效果,并证明了 CP-Flows 是通用密度近似器,且在 OT 意义下是最优的。
Dec, 2020
通过使用渐进流模型 JKO 流模型,在生成数据方面提供了理论保证,证明了其数据生成能力的 KL 保证在一些条件下的收敛速度为 O (ε^2)。
Oct, 2023
该研究实现了对于凸函数空间的 Jenkins-Sturges-Synder 方案的可靠离散化,为非线性扩散问题和人流运动建模提供了有效的数值模拟结果。
Aug, 2014
本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输,学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题,通过最优 Kantorovich 势量级诱导最优传输映射,借鉴最近在输入凸型神经网络领域的进展,提出了一个新的框架,其中一个凸函数的梯度表示最优传输映射。数值实验表明,我们学习到了最优传输映射,这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且,由于凸函数的梯度自然地模拟了不连续的传输映射,因此可以轻松捕捉具有不连续支持的目标分布。
Aug, 2019
该研究探讨深度神经网络训练中的梯度流收敛问题,并提出了一种基于条件最优传输距离的训练模型,通过梯度流方程的良定性和多项式 - Lojasiewicz 分析证明了在适当的初始化条件下,梯度流可以收敛于全局极小值。
Mar, 2024
利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化,特别是在使用单个隐藏层的神经网络进行训练时,可通过 Wasserstein 梯度流达到全局最小值。
May, 2018
通过研究定义在无限维函数类上的极小极大优化问题,我们限定函数在过度参数化的两层神经网络类上,并研究(i)梯度下降 - 上升算法的收敛性和(ii)神经网络的表示学习。
Apr, 2024
本文简要阐述了在度量空间中梯度流的最强变分形式及其在概率测度的 Wasserstein 空间中扩散方程的应用,这些笔记是第二作者在 2009 年 6 月 22 日至 26 日的格勒诺布尔夏季学校 “最优输运:理论与应用” 中所作的一系列讲座的基础。
Sep, 2010