投影稳健的 Wasserstein 距离及 Riemannian 优化
本文利用基于投影健壮性的最优输运(OT)距离作为损失函数来研究参数推断,基于多维维度的视角建立了多个基本统计属性,提出了平均最优输运(IPRW)距离,并给出了复杂性界限和渐进保证。最后,在模型错误说明下给出了最小 PRW 估计量的两种渐进保证,并为具有投影维数大于 1 的 PRW 设计了新颖的变分分析和统计理论的组合。
Jun, 2020
本文研究表明多个机器学习评估器,包括平方根 LASSO 和正则化逻辑回归,可以表示为分布鲁棒优化问题的解决方案,其相关的不确定区域基于适当定义的 Wasserstein 距离。因此,我们的表示使我们能够将正则化视为引入人为对手的结果,该对手扰动经验分布以考虑损失估计中的样外效应。此外,我们引入了 RWPI(Robust Wasserstein Profile Inference),这是一种新颖的推断方法,它将启发式似然性方法的使用扩展到最优传输成本的设置中(其中 Wasserstein 距离是一个特殊情况)。我们使用 RWPI 展示如何最优地选择不确定性区域的大小,从而能够选择这些机器学习评估器的正则化参数,而不使用交叉验证。数值实验也给出了验证我们理论发现的结果。
Oct, 2016
本文针对高维离散量之间的 Wasserstein 距离提出了具有鲁棒性的 “Max-Min” 方案,通过将量投影到一个较低维的子空间来最大化它们之间的距离。此外,我们提出了一种基于熵正则化的算法来解决相关问题,并在实验中显示了其优越性。
Jan, 2019
开发了一种基于 Inexact Proximal point 方法的算法 (IPOT),该算法通过将投影用于概率单纯形来近似评估近端算子,以解决精确最优输运问题,并具有具有理论保证和强健的正则化参数选择,同时缓解了数值稳定性问题并避免了应用于生成模型时的收缩问题。此外,基于 IPOT 提出了一种新的算法,用于获得更锐利的 Wasserstein 重心。
Feb, 2018
使用 Wasserstein 距离对分布进行差分私密密度估计,并设计了可以适应简单实例的实例最优算法,对于特殊情况下的离散分布,结果还导致了 TV 距离下的实例最优私密学习。
Jun, 2024
我们提出了一种无需优化的切片分布方法,用于蒙特卡洛估计期望,该方法借助两个输入测量值之间的标准化差异构建随机路径投影方向(RPD),进而导出了随机路径切片分布(RPSD)和两种切片 Wasserstein 的变体,即随机路径投影切片 Wasserstein(RPSW)和重要性加权随机路径投影切片 Wasserstein(IWRPSW)。最后,我们展示了 RPSW 和 IWRPSW 在图像的梯度流和去噪扩散生成模型的训练中的良好性能。
Jan, 2024
本文提出了一种基于新颖的正则化最大最小化问题的 Riemann 块坐标下降(RBCD)方法,用于解决高维概率分布下 Wasserstein 距离的问题。该方法能够有效地进行降维和计算,适用于大规模问题。数值结果表明,该方法比现有的一些算法更加高效。
Dec, 2020
论文提供了关于在 Wasserstein 损失下仅使用样本空间的测度性质和概率分布的弱矩假设,对于概率分布的估计的统计极小值率上下界的研究。
Feb, 2018