遗传列生成算法计算对抗分类的下界
本文研究了机器学习分类器对抗样本(躲避攻击)的鲁棒性,使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况,并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。
Sep, 2019
本文介绍了一种新的基于生成对抗网络的优化输运模型,使用 $2$-Wasserstein 距离度量判别器的目标函数,证明了在训练期间,生成器沿着初始和目标分布之间的 $W_2$- 测地线走,最终重现出最优映射,在低维和高维连续设置中进行验证,并证明其在图像数据上的性能优于以前的方法。
Jun, 2019
本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑(低维)表示,与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布,结果在人类动作识别任务中表现良好。
Jul, 2020
通过提供理论和实证的证据,我们的研究提出了一种名为 POTNet 的生成深度神经网络,它基于一个新颖、稳健、可解释的边际惩罚 Wasserstein 损失函数(MPW)来有效地建模包含类别和连续特征的表格数据,并能在子特征集合上进行条件建模,从而实现了在大规模合成数据生成过程中与最先进的生成模型相比数个数量级的加速。
Feb, 2024
本文对最优传输距离的使用进行了探索,指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化,并具有无偏估计,梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN 或颜色转换等经验实验,以突出这种策略的实际价值。
Oct, 2019
本文提供一种简单的过程,用于将生成网络适配成目标分布,从而实现小的 Wasserstein 距离,从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上,实现了良好的性能。
Jun, 2019
本文介绍利用 Wasserstein 距离和最优输运理论分析数据集中随机概率测度(如多重直方图或点云)的最新统计学贡献,并重点介绍在 Wasserstein 空间中使用重心和测地线 PCA 的好处,用于学习数据集中几何变化的主要模式。同时,本文讨论了与统计优化输运相关的一些研究方向。
Jul, 2019
该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界,为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制,并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界,最后基于我们的建立的框架,我们分析了深度学习中的泛化误差并得出了结论:深度神经网络中的泛化误差随着层数的增加而指数级下降。
Nov, 2018