ICMLJun, 2012

一种简单的半监督学习算法与改进的泛化误差界限

PDF
TL;DR该论文提出了一种简单的半监督回归算法，使用来自带标签和未标签示例的积分算子的前几个特征向量作为基函数，并通过简单的线性回归来学习预测函数，通过实证研究验证了该算法的有效性，同时证明了在适当的积分算子假设下能够实现优于监督学习现有边界的改进回归误差界。
发现论文，激发创造
  • 聚类假设下的半监督分​类的泛化误差界限

    探讨当部分数据无标签时的半监督分类问题，提出基于密度水平集估计的方法，利用聚类假设和与边际分布有关的回归函数的行为，实现在未标注和已标注示例数量上的收敛速率快。

    Apr, 2006

  • 为何基于伪标签的半监督学习算法如此有效？

    该研究分析了基于伪标签的半监督学习算法之所以有效的理论原因，并比较了有标记数据与有适当初始模型的无标记数据两种情况下训练的模型的泛化误差，证明了在足够数量的无标记数据的情况下，基于伪标签的半监督学习算法可以收敛到最优误差上限，并给出了达到线性收敛率的采样复杂度下限。

    Nov, 2022

  • 不充分和不正确监督下的学习

    本文提出了一种新颖的半监督学习范式，旨在解决标签不足和标签不准确的问题，该方法使用图来连接数据点以便在图边沿将标签信息从稀少标记示例传播到未标记的示例。实验证明，该方法在图像分类、文本分类和语音识别等领域有效降低标签误差，表现优于其他现有的半监督学习方法。

    Feb, 2019

  • 高斯过程回归的学习曲线：近似和界限

    该论文考虑了使用高斯过程进行回归时，计算学习曲线（即平均泛化性能）的问题，并提出了一种基于协方差函数的特征值分解的一些近似方案，这些新的近似方案通常更接近真实值。

    May, 2001

  • 半监督学习能否有效利用全部数据？从下界的角度看

    半监督学习算法可以利用未标记数据，改善有监督学习算法的样本复杂性。然而，现有的理论分析主要关注无监督学习能够使用足够的未标记数据来学习良好的决策边界的情况。我们通过对二元高斯混合模型的严格下界进行推导，在分布的标记和未标记数据集大小以及混合分布的信噪比上明确地依赖。令人惊讶的是，我们的结果表明，对于这些分布，没有任何半监督学习算法可以改进标记的最小最优统计误差率或无监督学习算法的性能。然而，我们在真实世界的数据上通过实验证明了半监督学习算法仍然可以优于无监督学习和有监督学习方法。因此，我们的工作表明，虽然证明半监督学习算法性能的提升是可能的，但需要仔细追踪常数。

    Nov, 2023

  • 基于互信息的泛化误差界限的紧缩

    利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

    Jan, 2019

  • 学习强健的聚合标注函数进行半监督数据编程

    本研究提出了一种基于标签数据和未标签数据的半监督学习技术，利用标签数据产生可解释的标签函数（LFs），再通过数据编程获得大量嘈杂的标注数据，有效避免了需要大量标注数据的问题，并利用一个鲁棒的双层优化算法进行 LF 重加权，并在多个文本分类数据集上展示了效果显著的优势。

    Sep, 2021

  • 半监督学习中的信息论方法在协变量偏移下的应用

    该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

    Feb, 2022

  • 基于自动编码器的无监督学习和半监督学习的泛化边界

    本文利用深度学习的一些理论进展和一种新型的重构损失提供了自编码器的泛化界限，表明在适宜的假设下，具有良好泛化性能的自编码器可以改进任何半监督学习方案。

    Feb, 2019

  • 密度敏感的半监督推断

    本文针对半监督学习方法，提出了一种极小极大框架，通过对基于敏感度量的半监督方法进行控制参数 α 的调整，对未标注数据进行预测。

    Apr, 2012