ICMLJan, 2021

通过 Wasserstein 距离实现更紧凑的预期泛化误差界限

PDF
TL;DR本文提出了基于 Wasserstein 距离的预期泛化误差界限，并分别介绍了全数据集、单字母和随机子集限制，以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外，当损失函数有界且选择 Wasserstein 距离中的度量时，这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下，这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外，本文还介绍了如何基于这些界限产生各种新的界限，并使用类似的证明技术得出关于后向通道的类似界限。
generalization errorwasserstein distanceloss functiongeometryinformation measures
发现论文，激发创造
  • 无界函数空间中 Wasserstein 距离下的经验测度的收敛与集中

    本文提出一种泛化近期针对有限维欧几里得空间和有界函数空间的结果的，衡量概率测度和其经验版本之间期望 Wasserstein 距离的上界方法，并将其推广到具有大维度的欧几里得空间及分离的 Hilbert 空间中的 Gaussian process。此外，结合均值集中结果，给出了 Bernstein 型或 log Sobolev 型条件下，经验测度的 Wasserstein 误差的改进指数尾部概率界。

    Apr, 2018

  • 一种最优传输的泛化视角

    该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界，为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制，并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界，最后基于我们的建立的框架，我们分析了深度学习中的泛化误差并得出了结论：深度神经网络中的泛化误差随着层数的增加而指数级下降。

    Nov, 2018

  • 基于 Wasserstein 的高概率泛化界学习

    本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

    Jun, 2023

  • 有限空间经验瓦热斯坦距离推断

    通过随机目标函数的线性规划问题，实现有限点概率分布的经验 Wasserstein 距离的渐近分布，以方便进行统计推断（例如，基于样本的 Wasserstein 距离的置信区间）；该结果基于定向 Hadarmard 可微性，证明了经典引导法及其替代方法的失败。同时，该分布特性在两个数据集上得到了证明其实用性的验证。

    Oct, 2016

  • 对抗生成模型的 PAC-Bayesian 泛化界限

    本论文在 PAC-Bayesian 理论的基础上扩展了生成模型，并为基于 Wasserstein 距离和总变差距离的模型开发了广义的泛化界限，特别地，本论文提供了新的训练目标，以适用 Wasserstein GANs 和 Energy-Based GANs。

    Feb, 2023

  • 具有 Wasserstein 不确定性集的强健性假设检验

    提出一种新的非参数假设检验框架，基于分布鲁棒优化，考虑接近经验分布的分布，旨在最小化最坏情况下的性能，具有较好的鲁棒性，应用于健康护理、在线变点检测和异常检测等领域，实验结果表明方法性能优越。

    May, 2021

  • 使用 Wasserstein Loss 进行学习

    本文提出了一个基于 Wasserstein 距离的多标签学习损失函数，基于概率度量体提供了一种自然的概念。该算法可以有效鼓励模型在输出空间中使用所选度量的平滑性，并用 Yahoo Flickr Creative Commons 数据集上的标签预测问题验证了性能。

    Jun, 2015

  • 深度神经网络的信息论泛化界

    深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

    Apr, 2024

  • 关于随机向量的仿射变换的 Wasserstein 距离

    论文阐述了位于 Wasserstein 空间的数据流形学习中的关于随机向量在 $\mathbb {R}^n$ 中的二次 Wasserstein 距离的一些已知下界，重点考虑应用于数据的仿射变换。具体而言，通过计算协方差矩阵之间的 Bures 度量，给出了关于在 $\mathbb {R}^2$ 中具有不相关分量的随机向量的旋转副本的具体下界。我们还推导了由仿射映射组成的上界，从而产生了多样的微分同胚，应用于初始数据度量。我们将这些界限应用于各种分布，包括位于 $\mathbb {R}^2$ 中的 1 维流形上的分布，并展示了界限的质量。最后，我们提出了一个可以应用于流形学习框架中的模仿手写数字或字母数据集的框架。

    Oct, 2023

  • Wasserstein 距离下的 Minimax 分布估计

    论文提供了关于在 Wasserstein 损失下仅使用样本空间的测度性质和概率分布的弱矩假设，对于概率分布的估计的统计极小值率上下界的研究。

    Feb, 2018