使用 Wasserstein Loss 进行学习
论文提供了关于在 Wasserstein 损失下仅使用样本空间的测度性质和概率分布的弱矩假设,对于概率分布的估计的统计极小值率上下界的研究。
Feb, 2018
本文介绍了一种利用 Wasserstein 距离作为损失函数的方法,结合分别建立起的线性,凸性和凹性的地面度量,实现了对实现多类别疾病的医疗诊断任务的高效处理,并通过构建平滑目标标签来模拟异常情况,实现了相关医疗数据 (如糖尿病视网膜病变和乳房超声波数据集) 的最先进性能。
Nov, 2019
该研究描述了 Wasserstein 距离应用于强化学习中的情形,通过量化不同策略的分布之间的差异,使用 Wasserstein 正则化器学习多个不同的策略。
Feb, 2018
本文介绍一种利用同配网络和解码器实现对 Wasserstein 距离进行逼近的方法,该方法可用于快速处理优化问题,如重心、主要方向或原型,在图像数据集上已经进行了实验。
Oct, 2017
本文提出了基于 Wasserstein 距离的预期泛化误差界限,并分别介绍了全数据集、单字母和随机子集限制,以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外,当损失函数有界且选择 Wasserstein 距离中的度量时,这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下,这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外,本文还介绍了如何基于这些界限产生各种新的界限,并使用类似的证明技术得出关于后向通道的类似界限。
Jan, 2021
本文提出了一种基于 Wasserstein 训练框架的方法,通过预定义圆的弧长或自适应学习地度量类别之间的相关性,并利用保守的目标标签建立包括离群值的混合分布模型,从而解决深度学习中离散和周期类标签(例如姿势 / 方向估计)的问题,并通过凸映射函数的地度量方法和封闭式解得到更好的性能表现。
Nov, 2019
本篇论文提出了一种基于 Wasserstein 距离的损失函数 (hinge-Wasserstein),用于解决深度神经网络训练过程中的置信度过高问题,可以提升模型对两种不确定性的估计能力,并在 Horizon Lines in the Wild 数据集上取得显著的误差减小效果。
Jun, 2023
本文提出了一种用于回归问题的新型主动学习策略,所提出的 Wasserstein 主动回归模型基于分布匹配原理来衡量标记数据集的代表性,使用 GroupSort 神经网络计算 Wasserstein 距离,该网络提供了理论基础,能够以明确的边界量化错误的大小和深度。该解决方案与另一种基于不确定性的方法相结合,该方法对异常值更具容忍性,以完成查询策略。最后,将该方法与其他经典和最近的解决方案进行对比。实证研究表明,这种代表性 - 不确定性方法具有一致的良好估计,并且 Wasserstein 主动回归模型通常能够更精确地估计并且倾向于更快地提高准确性。
Mar, 2024
该研究论文针对深度模型易受到小型攻击的问题,提出了在 Wasserstein 距离约束下的投影梯度攻击算法和有效的优化算法。该算法不仅收敛更快,而且生成更强的攻击模型,从而提高了模型的鲁棒性。
Aug, 2020
在这项研究中,我们探讨了在概率空间上定义的 Sobolev 平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的 Wasserstein 潜势,使用 Wasserstein Sobolev 空间中的经验风险最小化和 Tikhonov 正则化,以及通过表征 Tikhonov 泛函的 Euler-Lagrange 方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023