Jul, 2023

用切片瓦烏希斯坦損失函數訓練神經網絡的 SGD 收斂

PDF
TL;DR优化传输（Optimal Transport）近年来引发了广泛兴趣，尤其是由于 Wasserstein 距离的提出，该距离提供了一种几何上合理且直观的比较概率测度的方式。为了解决计算问题，引入了切片 Wasserstein（SW）距离作为 Wasserstein 距离的替代方法，并在训练生成型神经网络（NNs）中得到应用。本文旨在弥补对于这一观察结果没有理论保证的空白，通过利用 Bianchi 等人（2022）关于 SGD 在非光滑和非凸函数上收敛性的最新工作，提供了 SW loss 函数对 NN 参数收敛的现实背景。具体而言，我们展示了随着步长的减小，这些轨迹逐渐接近（亚）梯度流方程的集合。在更严格的假设下，我们证明了一种更强的收敛结果，即轨迹的长期极限逼近损失函数的广义驻点集合。
optimal transportwasserstein distancesliced wasserstein distancegenerative neural networksstochastic gradient descent
发现论文，激发创造
  • 通过切片 Wasserstein 广义测地线实现快速的最优输运

    本文提出了一种新的 WD 代理 min-SWGG，该代理基于两个输入分布的一维最优投影诱导的运输映射，并提供了一个相关的传输计划，证明 min-SWGG 是 WD 的上界且具有类似于切片 Wasserstein 的复杂度和梯度下降优化。作者也研究了一些理论性质和在渐进流、形状匹配和图像着色等各种情况下的实证支持。

    Jul, 2023

  • 切片 Gromov-Wasserstein

    提出一种新的基于 Gromov-Wasserstein 距离的分歧方法，称为 Sliced Gromov-Wasserstein，它可以通过分片方法处理大规模分布，并在实验中证明了其与 GW 相比处理能力更强但计算速度更快。

    May, 2019

  • 通过Łojasiewicz--Simon 不等式连续深度学习模型的收敛性结果

    这篇研究通过建立和证明一个 Wasserstein 类型的梯度流，分析了深度神经网络模型的优化过程，证明了在 L2 正则化下该模型平均损失函数的最小化存在性和损失函数斜率的最大化存在性，最终得出随着时间推移，该流收敛到损失函数的临界点的结论，为非凸泛函的 Wasserstein 类型梯度流的渐近行为分析提供了新的方法。

    Nov, 2023

  • 离散切片 Wasserstein 损失函数的性质

    本文研究了 Sliced Wasserstein 距离的性质、优化问题和蒙特卡洛逼近，展示了 Stochastic Gradient Descent 方法最小化该距离的收敛性。

    Jul, 2023

  • 使用正则化最优传输训练 GAN 的收敛性和鲁棒性

    本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取，从而实现对该目标函数的一阶优化，为一类生成对抗网络优化算法建立了理论收敛保证，且仅需要解决鉴别器问题以近似最优。该算法计算效率高，应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。

    Feb, 2018

  • 利用分割 - 瓦磨斯坦距离学习生成模型的渐进保证

    本研究探讨了通过最小化切片 - 瓦瑟斯坦距离获得的估计量的渐近性质，证明了其一致性和中心极限定理。

    Jun, 2019

  • 使用最优传输理论分析过参数化模型上梯度下降的全局收敛性

    利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

    May, 2018

  • 利用随机投影之浓度快速近似计算切片 - 瓦热斯坦距离

    通过利用测度集中现象，我们基于高维随机向量的一维投影近似 Sliced-Wasserstein 距离，避免了通常需要的蒙特卡罗模拟，这一方法简单精确，用于生成模型问题效果显著。

    Jun, 2021

  • 随机梯度下降在非凸问题中的几乎必然收敛

    本文针对随机梯度下降算法在非凸问题中的收敛性进行轨迹分析，首先证明了在广泛的步长策略范围内，SGD 生成的迭代序列保持有界并以概率 1 收敛，随后证明了 SGD 避开了严格的鞍点 / 流形的概率是 1，最后证明了算法在采用 Theta (1/n^p) 步长时收敛速度为 O (1/n^p)，这为调整算法步长提供了重要的指导建议，并且在 CIFAR 的 ResNet 架构中，展示了此启发式方法加速收敛的效果。

    Jun, 2020

  • 神经材质合成的分割瓦瑟斯坦损失

    摘自一篇研究论文，介绍了使用卷积神经网络中的特征激活统计数据来计算文本损失的问题，Gram 矩阵损失虽然是常见的这类问题的近似替代方法，但是有一些缺陷，提出了 Sliced Wasserstein Distance 作为一种优秀的替代方案，其具有理论证明、实用性、易于实现和对纹理合成及生成神经网络训练等方面有较好的效果。

    Jun, 2020