May, 2024

基于 $f$- 散度和 $α$-Rényi 散度的鲁棒半监督学习

PDF
TL;DR研究了适用于半监督学习中自训练方法的一系列经验风险函数和正则化方法，这些方法受到各种差异度量的启示。通过对差异度量理论基础的启发，即差异度量和 Rényi 差异度量，我们还提供了有益的见解，以增强对我们的经验风险函数和正则化技术的理解。在伪标签和熵最小化技术中，作为有效半监督学习的自训练方法，自训练过程存在真实标签和伪标签之间的不匹配（噪声伪标签），我们的一些经验风险函数在处理噪声伪标签方面表现出稳健性。在一些条件下，与传统的自训练方法相比，我们的经验风险函数表现出更好的性能。
empirical risk functionsregularization methodsself-training methodssemi-supervised learningdivergence measures
发现论文，激发创造
  • 经验风险最小化与 f - 散度家族中的正则化的等价性

    给定函数 $f$ 的分裂散度正则化 (Empirical Risk Minimization with $f$-Divergence Regularization) 的解决方案，该解决方案在 $f$ 的条件适当的情况下，得到最优测度是唯一的。通过利用 $f$-divergences 家族的灵活性，得到了对于特定 $f$ 函数选择的解决方案，包括使用相对熵正则化（Type-I 和 Type-II）的唯一解。当在 ERM-$f$DR 问题中使用 $f$-divergence 时，解决方案的分析揭示了以下性质：$i$）$f$-divergence 正则化使得解决方案的支持与参考测度的支持重合，从而引入了强大的归纳偏差，支配着训练数据提供的证据；和 $ii$）任何 $f$-divergence 正则化都等价于使用适当的经验风险函数转换的不同 $f$-divergence 正则化。

    Feb, 2024

  • f - 散度估计的实用和一致性

    本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

    May, 2019

  • 通过 Rényi、$f$-Divergences 和最大泄漏实现的广义误差界限

    本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率，并在自适应数据分析和学习理论中应用，其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法，并将最大泄密量作为特例进行了研究。

    Dec, 2019

  • 当优化 $f$- 散度对标签噪声具有鲁棒性时

    本文利用 $f$-divergence 的变分形式证明了其在标签噪声存在时具有良好的鲁棒性，并将其应用于噪声标签下的学习问题中，并提出了可能不具鲁棒性的解决方法，并通过实证研究证明了该方法的有效性。

    Nov, 2020

  • 通过 Renyi 散度对风险敏感的函数进行鲁棒边界

    将指数积分和相对熵之间的对偶性推广到涉及 Renyi 离散度的指数积分的变分公式。该公式表征了由尾部行为决定的风险敏感功能和相关量的依赖于底层分布扰动的程度，以 Renyi 离散度为基础。作为应用，考虑当模型的某些方面未完全知道时的不确定性量化问题，以及使用它们来限定难以处理的模型的尾部特性。

    Oct, 2013

  • Rényi 分歧变分推断

    本文介绍了变分 Renyi 界限 (VR)，它将传统的变分推理扩展到了 Renyi 的 Alpha - 散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的 Alpha 值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负 Alpha 值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了 VR 界限的广泛适用性。

    Feb, 2016

  • 具有独立调节能力的 f - 散度变分推断

    本文提出了一类新的尾部自适应的 f 散度，可以用于变分推断中的 α 分布，且在有限矩状况下同时实现大量覆盖性，用于改进 SAC 算法等深度强化学习任务时相较于基于 KL 散度和 α 散度的现有方法表现更好。

    Oct, 2018

  • $f$- 散度不等式

    本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

    Aug, 2015

  • 使用 Wasserstein - 邻近正规化的 $α$- 散度学习重尾分布

    我们提出了 Wasserstein proximals of $\alpha$-divergences 作为学习重尾分布的合适目标函数，首先给出了数据维度、$\alpha$ 和数据分布衰减率之间的足够关系以及某些情况下的必要关系，使得 Wasserstein- proximal-regularized divergence 是有限的，并且在某些尾部条件下提供了 Wasserstein-1 proximal divergences 的有限样本收敛速度，数值实验表明了学习重尾分布的稳定性，即使是没有第一或第二时刻的分布，也可以使用适当的生成模型（如 GANs 和与我们提出的 Wasserstein proximal-regularized $\alpha$-divergences 相关的基于流的模型）来学习目标分布，启发式地，$\alpha$-divergences 处理重尾，Wasserstein proximals 在分布之间提供非绝对连续性，并在深入尾部学习目标分布时控制流算法的速度。

    May, 2024

  • 多源适应与 Renyi 散度

    通过 Renyi 离散度的概念，本文对多源适配的一般问题进行了新颖的理论研究，扩大了之前的多源损失保证的范围，并分析了多种情况，包括未知目标分布和标注函数不同的情况，通过实验表明基于 Renyi 离散度的保证的性能优越。

    May, 2012