FlexSSL: 泛化高效的半监督学习框架
通过实现多种常用的 SSL 技术并在一系列实验中进行测试,研究发现简单基线方法的表现通常被低估,而 SSL 方法对标记和未标记数据的敏感性不同,当未标记数据集包含类外示例时性能可能会显著下降,因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。
Apr, 2018
本文提出一种新的 SSL 算法,通过引入转移学习和自主监督来初始化数据的表示,再利用新算法,交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明,该方法在标准基准测试中表现优异,特别是在从其他任务或数据集中细化时,效果更佳。
May, 2019
提出了一种新颖的强化学习引导的半监督学习方法 RLGSSL,将半监督学习视为一个老虎机问题,并通过加权奖励的创新 RL 损失来自适应地指导预测模型的学习过程,通过在多个基准数据集上进行广泛实验表明,相较于最先进的半监督学习方法,我们的方法始终具有更好的性能。
May, 2024
我们通过引入额外的熵损失构建了一个分类器,用于对来自已知和未知类别的数据进行分类,从而改进了现有的半监督学习方法在已知和未知类别的分类中的表现。通过在 CIFAR-100 和 STL-10 两个基准图像分类数据集上的实验证明,我们相对于现有的 SSL、开放集合 SSL 和开放世界 SSL 方法取得了巨大的改进。当标记数据非常有限(每个类别 1-25 个标记示例)时,进步最为显著。
Aug, 2023
我们提出了一种使用合成数据集来训练半监督学习模型的方法,该方法通过使用基于生成式基础模型训练的合成数据集来替代真实的未标记数据集,并证明了在极少标记数据集的情况下,合成样本比真实未标记数据更有效地提升性能。
Sep, 2023
提出一种 CA-SSL 框架,采用分离训练策略,包括热身训练阶段,在保留定位训练信号的同时忽略伪标签中的类信息,实现了从未标注的数据中提取训练信号的最优平衡;在 FCOS 目标检测等任务上,相比于 ImageNet 预训练基线模型,该模型在 3.6M 无标注数据集上实现了 4.7% 的显著性能提升。
Dec, 2021
本文提出了一个 semi-supervised learning (SSl) 的新方法:Mixture of Expert/Imitator Networks,该模型通过利用大量未标记数据来训练 imitator 网络模拟 expert 网络的标签分布,从而提高 text classification 任务的性能,实验结果表明该方法可适用于多种深度神经网络模型,并且性能随未标记数据的增加而提高。
Oct, 2018
ProtoFSSL 是一种新颖的基于原型网络的半监督 FL 方法,它通过轻量级原型实现客户端之间的知识共享,减少了通信和计算成本,并在多个数据集上实现了更高的准确性。
May, 2022
本文提出一种基于伪标签的半监督学习方法,能够处理 open-world SSL 问题,并通过样本不确定性和类别分布先验知识等手段,为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好,特别是在 CIFAR-100,ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。
Jul, 2022