一种最优传输的泛化视角

Nov, 2018

An Optimal Transport View on Generalization

Jingwei Zhang, Tongliang Liu, Dacheng Tao

TL;DR该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界，为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制，并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界，最后基于我们的建立的框架，我们分析了深度学习中的泛化误差并得出了结论：深度神经网络中的泛化误差随着层数的增加而指数级下降。

Abstract

We derive upper bounds on the generalization error of learning algorithms based on their \emph{algorithmic transport cost}: the expected Wasserstein distance between the output hypothesis and the output hypothesi

generalization error algorithmic transport cost optimal transport theory deep learning hierarchical structure

发现论文，激发创造

小批量 Wasserstein 学习：渐近和梯度特性

本文对最优传输距离的使用进行了探索，指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化，并具有无偏估计，梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN 或颜色转换等经验实验，以突出这种策略的实际价值。

Oct, 2019

通过 Wasserstein 距离实现更紧凑的预期泛化误差界限

本文提出了基于 Wasserstein 距离的预期泛化误差界限，并分别介绍了全数据集、单字母和随机子集限制，以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外，当损失函数有界且选择 Wasserstein 距离中的度量时，这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下，这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外，本文还介绍了如何基于这些界限产生各种新的界限，并使用类似的证明技术得出关于后向通道的类似界限。

Jan, 2021

深度神经网络的信息论泛化界

深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

Apr, 2024

通过最优输运量化分布模型风险

本文提出了一种方法来计算特定概率模型下利益期望，并给出了为不同的概率模型设置偏差范围的基于最优输运的度量方法，同时应用于风险分析。

Apr, 2016

利用最优输运对对抗鲁棒性进行下界限制

本文研究了机器学习分类器对抗样本（躲避攻击）的鲁棒性，使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况，并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。

Sep, 2019

通过明确的 Wasserstein 最小化，逐步半离散地训练生成网络的方法

本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的 Wasserstein 距离，从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上，实现了良好的性能。

Jun, 2019

基于度量相似性学习的最优传输域泛化

我们提出了一种基于优化输运的机器学习方法，该方法不仅提取不变特征，而且在提取特征时还限制了标签相似性，以实现跨多个领域的分类。实验结果表明，该方法优于大部分基线方法，各组件的消融研究也证明了方法的有效性。

Jul, 2020

Wasserstein-2 生成网络

该论文提出了一种新颖的端到端非极小算法，用于训练最优输运映射以逼近 Wasserstein-2 距离，并使用输入凸神经网络和循环一致性正则化来近似 Wasserstein-2 距离，解决了流行的熵和二次正则化中存在偏差和高维度缩放问题的不足，并在诸多任务上进行了实验评估。

Sep, 2019

学习算法泛化能力的信息论分析

本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

May, 2017

鉴别器最优输运

通过鉴别器优化过程，我们在一类广义生成对抗网络中证明，鉴别器训练过程增加了 $p$ 与 $p_G$ 之间 Wasserstein 距离的双重代价函数下界，这意味着训练后的鉴别器可以近似从 $p_G$ 到 $p$ 的最优传输方案。基于一些实验和一点 OT 理论，我们提出了一个判别器最优传输方案（DOT）来改善所生成的图像。我们证明它可以提高 Inception 分数和由 CIFAR-10，STL-10 和 ImageNet 的公共预训练条件 GAN 训练的 FID 计算得出的非条件 GAN 的生成质量。

Oct, 2019