深度生成模型的半监督学习
本文介绍了一种新的深度生成模型 (DGMs) - max-margin deep generative models (mmDGMs) 和 class-conditional variant (mmDCGMs),它们同时保留了生成性和判别性,通过最大间隔学习来提高模型的预测性能,并且在半监督学习中利用了最大间隔分类器来代替全局后验推断从而提高学习效率。在各种数据集上的实验结果表明,这种方法可以明显地提高模型的预测性能。
Nov, 2016
本文介绍了Cluster-aware Generative Model这一基于深度生成模型的半监督学习方法,利用未标记的数据点探索数据自然聚类模式,同时引入部分带标记的数据对模型进行优化,有效提高了模型性能。该模型也能够在完全无监督的情况下实现优异的对数似然性能。
Apr, 2017
本文回顾了最近在无监督和半监督学习领域取得的进展,分类了一大类模型,并探讨了这些模型与探索新思想的相互作用以及它们在生成模型中的实现。文章还提出了将无监督预训练与有监督微调结合起来的未来方向,并展望了表示学习的未来方向。
Mar, 2019
本文提出了一个基于图结构的半监督学习的生成框架,通过逼近节点特征,标签和图结构的联合分布,使用可扩展的变分推断技术来推断缺失的标签,并在基准数据集上进行了全面的实验,结果表明该方法在大多数设置中优于现有的最先进模型。
May, 2019
介绍了一种基于多任务可变方法的半监督序列标注模型,该模型涵盖了生成模型和判别模型,并探索了一些潜在变量配置方案,能更好地标记数据,使得在8个序列标注数据集中其性能优于标准的顺序基线模型,并且在无标记数据的情况下还有进一步的提升。
Jun, 2019
本文针对深度半监督学习方法中的模型设计和无监督损失函数的透视,提供了关于基础和最新进展的全面调查,首先提出了将现有方法分类的深度半监督学习分类法,包括深度生成方法、一致性正则化方法、基于图的方法、伪标记方法和混合方法,然后全面回顾了52种代表性方法,并详细比较了这些方法在损失类型、贡献和架构差异方面的差异。除了过去几年的进展外,我们进一步讨论了一些现有方法的缺点,并提供了一些试探性的启发式解决方案来解决这些开放性问题。
Feb, 2021
本文从生成模型的角度重构标签噪声问题,提出了LRA扩充扩散模型来处理噪声标签。经过广泛的实验验证,我们的模型在所有标准实际基准数据集上均取得了新的最优结果,在许多情况下,通过结合来自强大的CLIP模型的条件信息,我们的方法可以将当前的最优精度提高10-20个绝对点。
May, 2023
针对学习时标签存在噪声的问题,本研究提出了一种新的生成式噪声标签学习方法,通过直接关联数据和干净标签、使用判别模型隐式估计生成模型、以及借鉴部分标签学习的信息性标签先验,解决了现有方法中的三个问题,实验证明该生成模型在保持计算复杂度与判别模型相似的情况下提供了最先进的结果。
Aug, 2023
本文提出了一种基于变分贝叶斯推理的通用框架,用于在半监督环境中训练参数化的三元马尔可夫链模型,从而实现对顺序贝叶斯分类的多种生成模型的半监督算法。
Sep, 2023
我们提出了一种使用合成数据集来训练半监督学习模型的方法,该方法通过使用基于生成式基础模型训练的合成数据集来替代真实的未标记数据集,并证明了在极少标记数据集的情况下,合成样本比真实未标记数据更有效地提升性能。
Sep, 2023