May, 2024

基于广义贝叶斯规则和软修正的半监督学习

PDF
TL;DR我们提供了对带软修订的 Gamma-Maximin 方法进行理论和计算研究的结果，该方法最近被提出作为半监督学习中伪标签选择（PLS）的稳健准则。与传统的 PLS 方法相反，我们使用先验的可信集（“广义贝叶斯”）来表示认知建模的不确定性，然后通过带软修订的 Gamma-Maximin 方法来更新这些先验集合。最终，我们从更新后的可信集中选择最有可能的伪标记数据，以反映最不利分布的光线。我们将根据 Gamma-Maximin 方法与其他方法进行比较构建了一个关于 logistic 模型类的具体实现，以比较方法的预测能力。观察结果表明，特别是当标记数据的比例较低时，带软修订的 Gamma-Maximin 方法可以取得非常有希望的结果。
发现论文，激发创造
  • 近似贝叶斯最优伪标签选择

    本文介绍了一个拟会泛化误差的具有 Bayesian 框架的 pseudo-label 选择方法 (BPLS)，其使用解析近似来选择标签实例，并通过针对高维数据的实证评估来表明其优于传统的 PLS 方法。

    Feb, 2023

  • 伪标签选择是一个决策问题

    伪标记、半监督学习、确认偏差、贝叶斯框架、决策理论

    Sep, 2023

  • 一种极小极大法用于监督学习

    引入最大熵原理的一般化方法，应用于带有从数据中得出的经验边缘条件的分布集合，提出一种针对监督学习问题的通用 minimax 方法，其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器，并且通过实验表明可以优于其他线性分类器，同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。

    Jun, 2016

  • 负面情绪不要如此消极！具有指导助手的基于评分的生成建模

    基于最大似然原则的参数估计，使用迭代最优化算法获取数据似然函数的最优解。本文提出一种新的去噪扩散概率模型方法（Gen-neG），利用外部的辅助信息进行模型学习，在生成过程中通过生成对抗网络（GANs）和鉴别器引导策略，将生成样本限制在正区域范围内。实验证明 Gen-neG 在自动驾驶模拟器中的碰撞避免和安全人体运动生成等应用中具有有效性。

    Jul, 2023

  • 具有数据增强的 Gibbs 最大裕度主题模型

    本文提出了 Gibbs max-margin 监督主题模型的新型损失函数，通过引入增广变量和解析地消除 Dirichlet 变量，从而开发了简单的 Gibbs 抽样算法以解决多个潜在 SVM 子问题，且无需限制假设和解决 SVM 子问题，从而在许多分类任务中实现了时间效率和分类性能的显着提高。

    Oct, 2013

  • 弱监督分类器的凸松弛

    该论文提出了一种通用的多类弱监督分类方法，其中引入了一种基于凸松弛的代价函数来解决软最大损失的本地极小问题，于是设计了一种算法来高效地解决相应的半定规划问题，并在不同数据集上表现出较好的效果，包括多实例学习和半监督学习，以及聚类任务。

    Jun, 2012

  • 安全贝叶斯广义线性回归

    该研究探讨了广义贝叶斯推断在错配模型下的应用，包括广义线性模型，通过 MCMC 抽样来实现广义贝叶斯 Lasso 和 Logistic 回归，并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。

    Oct, 2019

  • 半监督分类的对比悲观似然估计

    提出了一种通用的半监督参数估计方法，通过对 “对比度” 和 “悲观主义” 等概念的引入，实现了半监督分类器的改进，并在 LDA 的案例研究中证明了该方法的有效性。

    Mar, 2015

  • 异常语言的极小极大和 Neyman-Pearson 元学习

    为提高 MAML 方法在跨语言自然语言处理中的鲁棒性，本文提出了两个基于最小化最大风险和约束性分布分别的构思而实现的改进版本：Minimax MAML 和 Neyman-Pearson MAML。这两种标准均构成了可微分的两人博弈。研究者在 POSM 和 QA 两个自然语言处理任务中对比了它们与其他方法的效果表现。

    Jun, 2021

  • 密度敏感的半监督推断

    本文针对半监督学习方法，提出了一种极小极大框架，通过对基于敏感度量的半监督方法进行控制参数 α 的调整，对未标注数据进行预测。

    Apr, 2012