Jan, 2023

序列推荐中的互惠瓦石均方差最小化

PDF
TL;DR本文提出了一种基于互信息的无监督学习框架，利用 Wasserstein 距离来衡量自然语言推荐任务中的互信息，并提出了可应用于小批量数据的 Wasserstein 差量度量方法和基于反向对比损失的训练方式，证明该方法能够减少不稳定的 KL 散度限制，达到更稳健的表现。
self-supervised learningsequential recommendationmutual information measurementwasserstein discrepancycontrastive learning loss
发现论文，激发创造
  • 用于表示学习的 Wasserstein 依赖度量

    本研究旨在使用 Lipschitz 约束技术构建理论上有效但实践上可行的 Wasserstein 依赖性度量，以提供更全面的表征学习结果并改善视频理解和强化学习等任务的结果。

    Mar, 2019

  • 最小斯坦（Stein）差异估计量

    本文提出了一种统一的视角来描述和设计基于最小 Stein 距离的估计器，并使用这种方法来设计新的扩散核 Stein 距离（DKSD）和扩散分数匹配（DSM）估计器，证明了它们的一致性、渐近正常性和鲁棒性，并为它们的高效优化推导了随机黎曼梯度下降算法。该方法的主要优势在于其灵活性，使我们能够通过仔细选择 Stein 距离来为特定的模型设计具有理想性质的估计器，并在一些具有挑战性的问题上进行了演示，例如光滑、重尾或轻尾密度的分数匹配。

    Jun, 2019

  • Wasserstein 距离下的 Minimax 分布估计

    论文提供了关于在 Wasserstein 损失下仅使用样本空间的测度性质和概率分布的弱矩假设，对于概率分布的估计的统计极小值率上下界的研究。

    Feb, 2018

  • 通过 Wasserstein 分布稳健优化桥接贝叶斯和极小值均方误差估计

    提出了一种基于 Wasserstein 模糊集的分布鲁棒的最小均方误差估计模型，该模型可以被视为一个零和博弈，其中一个统计学家选择估计器，另一个虚构对手选择一个先验，通过最小化和最大化预期的平方估计误差来实现其目标。

    Nov, 2019

  • 使用 Wasserstein 距离进行极小极大统计学习

    本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。 作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。

    May, 2017

  • 基于 Sliced Wasserstein 距离的无监督域自适应

    本文提出了一种基于任务特定决策边界和 Wasserstein 度量的领域自适应的特征分布对齐方法，即切片 Wasserstein 差异。实验表明该方法在数字和标志识别、图像分类、语义分割和目标检测上都具有有效性和普适性。

    Mar, 2019

  • 基于分值的生成建模暗中最小化 Wasserstein 距离

    本文研究在适当的假设下，基于得分函数的生成模型可以最小化与真实数据分布之间的 Wasserstein 距离，同时说明此类模型的目标函数与生成分布和数据分布的 Kullback-Leibler 散度等价，并通过优化输运理论的新颖应用来证明我们的理论成果，同时通过数值实验进行支持，并提供了一些获得更紧密上限的技巧。

    Dec, 2022

  • 混合线性回归的 Wasserstein 极小极大框架

    本文提出了 Wasserstein Mixed Linear Regression (WMLR)，通过使用一种优化传输的方法来解决 Mixed Linear Regression 问题。WMLR 可以处理混合模型的联邦学习任务，收敛速度较快且具有良好的普适性和泛化性。

    Jun, 2021

  • 基于几何洞见的隐式生成模型

    该研究探讨了几个度量数据分布与隐式模型分布差异的标准，发现这些度量在概率测度空间中引入了不同的几何特性，特别是当参数生成器具有非凸参数化时，$1$-Wasserstein 距离能够实现惊人的近似全局收敛保证。

    Dec, 2017

  • 协方差对齐：从最大似然估计到 Gromov-Wasserstein

    提出协方差对齐模型以研究和比较各种对齐方法，并建立一个非标准维度缩放的最小最大下界，该下界通过自然准最大似然估计取得，但该估计涉及计算不可行的排列搜索，为了克服这个限制，证明了崇高 - 瓦瑟斯坦算法的最小最大最优性。这些结果为实践中使用 Gromov-Wasserstein 算法提供了首个统计学上的理论依据。

    Nov, 2023