提出了一种基于弱监督对比学习的框架 (WCL),该框架使用两个投影头进行正则的实例区分任务,一头使用基于图形的方法找到相似的样本并生成弱标签,另一头使用这些弱标签进行有监督的对比学习任务,以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题,并在不同的数据集上提高了自监督表示品质,尤其是在半监督学习中达到了新的最优结果。
Oct, 2021
通过众包标注系统和基于伪标签和对比学习的新方法,解决了由于用户知识、文化背景差异和获得监督信息的高成本而导致的标注信息不充分和含糊不清的问题,实现了半监督部分标签学习的最先进表现。
Oct, 2022
该研究提出了一种半监督学习方法,利用一个 “目标网络” 和一个 “置信网络” 进行多任务训练,在大量弱注释未标注数据上优化目标网络,同时用置信网络的分数来加权目标网络的梯度更新,以避免噪声标签对目标网络模型的质量造成损害,并在评估中证明其相对基线的性能得到提高,同时从弱标签中提高了学习速度。
Nov, 2017
本文提出了一种选择性有监督对比学习(Sel-CL)方法,通过筛选可信样本减少噪声标签对表示学习的影响,改善只依赖高质量标注数据的有监督对比学习算法中噪声标签导致的泛化性能差的问题。实验证明该方法在多个噪声数据集上均具有鲁棒性且表现优于现有方法。
Mar, 2022
本文提出了一种二阶段的弱监督对比学习方法,第一阶段根据辅助信息对数据进行聚类,第二阶段在同一簇中学习相似的表征和不同簇的数据的不相似的表征。通过实验表明,与传统的自监督表示相比,辅助信息注入表示使性能更接近于监督表示。同时,本方法在与其他基线表示学习方法进行比较时表现最佳,并且其也适用于无监督构建簇,展示了强大的无监督表示学习方法。
Feb, 2022
本文提出了一种理论框架以分析对比学习的算法,并引入潜在类别假设,该框架使我们能够在平均分类任务上证明学习表示的性能。同时,该文还表明,学习表示可以降低下游任务的(标记)样本复杂度。
Feb, 2019
通过开发严密的理论来剖析和确定无监督损失中能够帮助改善鲁棒监督损失的成分,并进行适当实验证实我们的发现。
Nov, 2023
本论文提出了一个统一的异构学习框架,通过结合加权无监督对比损失和加权有监督对比损失来解决对比学习中的假阴性对问题,从而模拟多种异构性的数据。实验结果表明,该方法在模拟复杂数据时具有较好的效果和高效性。
May, 2021
本论文讨论如何提高基于深度神经网络分类器在训练数据中鲁棒性以解决标签噪声问题,通过代替分类交叉熵损失为适应标签噪声的损失函数,或者改变训练样本的权重来缓解标签噪声的影响,并介绍一种基于对比学习技术来初始化有监督鲁棒方法以解决高标签噪声下的图像分类问题的方法。
Apr, 2021
本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾,并通过图像分类,目标检测和动作识别等多个下游任务的性能比较,探讨了当前方法的限制以及未来发展方向。
Oct, 2020