建议使用伪标签从无标签数据中更新特征提取器,以解决预训练特征表示所带来的偏见,并通过实验证明该方法优于现有解决方案。
Sep, 2023
本文提出一种新的 SSL 算法,通过引入转移学习和自主监督来初始化数据的表示,再利用新算法,交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明,该方法在标准基准测试中表现优异,特别是在从其他任务或数据集中细化时,效果更佳。
May, 2019
我们提出了一种半监督领域泛化模型,通过利用有限的有标签数据和大量的无标签数据来学习领域通用特征。我们的方法在两种不同的半监督领域泛化设置中,在五个具有挑战性的基准测试中实现了一致且显著的进展。
Mar, 2024
本研究提出了一种叫做 AuxMix 的算法,该算法利用自监督学习任务来学习通用特征,以掩盖那些不同于标记集的语义上不相似的辅助数据,并正则化学习通过预测熵最大化来处理不同数据的不确定性,结果显示该算法相比现有的基线在 ResNet-50 模型上训练 CIFAR10 数据集时提高了 5%。
Jun, 2022
自我监督学习在无监督异常检测中起到重要作用,对 SSL 策略的选择、超参数的调整、预处理任务和增强函数的设计以及基于密度估计的预训练模型的利用提出了新的发展和挑战。
Aug, 2023
本文提出一种针对医疗图像分类领域的半监督学习方法,借助于新领域、新标签的未标记数据,采用基于双路径异常值估计和变分自动编码器预训练的方法,实现更好的开放场景下的分类表现。在实验中,该模型在不同的医疗学习场景下 Demonstrate 了更好的分类表现。
Apr, 2023
使用熵作为置信度指标的熵引导自监督学习 (ESL) 方法,在无监督域自适应语义分割任务中实现了最先进的结果。
Jun, 2020
本文通过广泛的实验和理论分析,系统研究了在数据集不平衡的情况下自监督学习的表现,并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征,进而提出了一种新的加权正则化技术,显著提高了 SSL 表示的质量。
Oct, 2021
通过将联邦学习(FL)与自监督学习(SSL)相结合,可以在不损害用户数据隐私的情况下利用音频数据进行通用音频理解。本文评估了在大规模非独立同分布(non-iid)数据生成的情况下,将特征匹配和预测式音频自监督学习技术与 FL 相结合的性能,提出一种名为 FASSL 的新型联邦自监督学习(F-SSL)框架,并通过广泛实验证明了 FASSL 的有效性和重要性,从而有助于获得最佳的全局模型。
Feb, 2024
研究发现,自适应领域不受监督学习(UDA)和半监督学习(SSL)虽然看似不同,但其任务目标和解决方案十分相似。基于这个发现,通过在 UDA 基准测试上适应八种 SSL 算法,发现 SSL 方法具有较强的 UDA 学习能力,在 DomainNet 挑战性 UDA 基准测试上,SSL 方法显着优于现有的 UDA 方法,并且可以通过 SSL 技术进一步增强现有 UDA 方法的性能。因此,未来 UDA 研究中应将 SSL 方法作为基线应用,并期望揭示的 UDA 和 SSL 之间的关系能够给未来 UDA 发展带来启示。
Jun, 2021