- Wasserstein 梯度流的 Forward-Euler 时间离散可能存在问题
通过两个反例,我们研究了前向欧拉离散化方法在模拟 Wasserstein 梯度流方面的失败,即使对于能量函数定义为相对于一些结构完整的概率密度的 KL 散度的简单情况也是如此。我们还讨论了这种失败的简单解释。
- 对抗性流:对抗攻击的梯度流表征
我们将所谓的快速梯度符号方法及其迭代变体解释为微分包含的明确欧拉离散化方法,并证明了该离散化与相关梯度流的收敛性。我们考虑最大斜率的 p - 曲线的概念,证明了最大斜率的无穷曲线的存在,并通过微分包含导出了另一种特征描述。此外,我们还研究了 - 再生核希尔伯特空间中 f - 散度的 Moreau 衬度的 Wasserstein 梯度流
使用核均值嵌入展示了正则化可以重写为某个与核 K 相关的再生核希尔伯特空间中函数的莫罗包络,并利用相关结果证明了 MMD - 正则化的 f - 散度及其梯度的性质,进而分析了以 MMD - 正则化的 f - 散度为基础的 Wasserste - 神经 Sinkhorn 梯度流
我们提出了神经 Sinkhorn 梯度流(NSGF)模型,该模型使用神经网络来逼近底层 Wasserstein 梯度流的一部分,通过 Sinkhorn 分歧到目标分布的时间变化速度场的参数化,利用速度场匹配训练方案进行样本估计。理论分析表明 - 几何感知归一化的 Wasserstein 流用于最优因果推断
通过将连续归一化流应用于因果推断中的参数子模型,本文通过优化半参数效率界实现了精确的参数插值,从而进一步提高对错误建模的鲁棒性,从而取得了重要进展。
- 变分推理与 Wasserstein 梯度流之间的桥梁
本文介绍了变分推断和 Wasserstein 梯度流之间的联系,通过将 Bures-Wasserstein 梯度流转化为欧几里德梯度流,并使用路径导数梯度估计器生成梯度场,同时提供了一种新的梯度估计方法适用于 $f$-divergences - 基于负距离内核的 MMD 梯度流后验抽样
我们提出了条件流的最大均值差最大均值差与负距离核用于后验采样和条件生成模型。
- 用于生成建模的均值场博弈实验室
该研究表明,均场博弈论(MFGs)是解释、增强和设计生成模型的数学框架,该文研究了 MFGs 与基于流和扩散的几种生成模型之间的关系,并探讨了 MFGs 的最优性条件及其算法应用。
- 大规模 Wasserstein 梯度流
本研究介绍了一种基于输入凸神经网络的渐进 Wasserstein 流逼近方法,无需领域离散化或粒子模拟,可用于机器学习应用,例如非线性滤波。
- ICML通过概率空间中的梯度流推断数据集的动态变化
本研究提出了一种基于 Wasserstein 梯度流的数据集转换框架,可应用于分类数据集的约束、迁移学习和转换黑盒模型,以实现高准确度的分类。
- NIPS通过最优传输实现可扩展的汤普森抽样
本文提出了一种基于 Wasserstein 梯度流的分布优化技术来近似后验分布的方法,进而基于此框架发展出一种高效的基于粒子优化算法的 Thompson 抽样算法,既可应用于简单模型,也可扩展到神经网络等复杂模型,在合成数据和真实的大规模数 - 理解和加速基于粒子的变分推断
本文从 Wasserstein 梯度流的角度探索基于粒子的变分推断方法,并在理论和实践上做出了贡献,揭示了现有方法的假设和关系,并提出了一个加速框架和一个基于开发理论的有原则的带宽选择方法,这些方法利用了 Wasserstein 空间的几何 - 面向可扩展贝叶斯采样的统一粒子优化框架
本文针对大数据分析,提出了一种基于 Wasserstein 梯度流的粒子优化框架,用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法,并能够更有效地解决概率测度空间上的挑战。实验结果表明,该框架能够提高贝叶斯抽样的效率和可伸缩性。
- NIPS使用最优传输理论分析过参数化模型上梯度下降的全局收敛性
利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化,特别是在使用单个隐藏层的神经网络进行训练时,可通过 Wasserstein 梯度流达到全局最小值。
- NIPS去噪自编码器的运输分析:一种分析深度神经网络的新方法
本文通过将特征映射视为运输映射,研究了深度学习的基本案例 - 去噪自编码器(DAE)的运输动态,并揭示了无限深的 DAE 如何将 mass 输送出去以减少数据分布的某种数量,即熵,这些结果虽然在数学上很简单,但是启示我们深度神经网络和 Wa