面向对比表示学习的理论驱动的自标签细化方法
本文提出了一种利用半监督和正无标记学习方法来提高无标签数据质量检测表现的方法,通过动态生成伪 MOS,结合全参考图像质量评估和空间注意力机制来处理 GAN 模型带来的误配问题。在多项数据集实验中表现良好。
Apr, 2022
提出了 ContrastiveCrop,一种用于 Siamese 表示学习的更好对比对的生成方法,该方法采用全无监督方式提出了基于语义的目标定位策略并进一步设计了中心抑制采样来扩大裁剪区域的方差,成功提高了自我监督学习中 SimCLR,MoCo,BYOL,SimSiam 等方法的分类准确率,同时在基于 ImageNet-1K 预训练的下游检测和分割任务上取得了优异的结果。
Feb, 2022
提出了一种新的半监督学习方法 —— 通过伪标签的语义正例(SemPPL),结合标记和未标记的数据来学习信息表示,其通过自监督对比学习扩展了一种新的方法来选择正例。
Jan, 2023
该论文研究了深度神经网络模型训练中的计算机生成图像的真实性问题,使用对比度学习和硬负样本挖掘方法,实现了对计算机生成和真实图像之间的语义和结构一致性匹配,从而得到了最先进的性能表现。
Apr, 2023
该论文提出了一种基于标签空间的无监督学习方法 (Un-Mix),通过混合输入数据进行联合工作,从而学习到更加精细、鲁棒且广义的表示。实验证明,在 CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet 和 ImageNet 等数据集上,该方法均可以在保持基本方法的超参数和训练程序不变的条件下,显著提高模型的泛化性能。
Mar, 2020
本文提出了一种理论框架以分析对比学习的算法,并引入潜在类别假设,该框架使我们能够在平均分类任务上证明学习表示的性能。同时,该文还表明,学习表示可以降低下游任务的(标记)样本复杂度。
Feb, 2019
我们提出了一种端到端的 PLReMix 框架,通过引入伪标签松弛的对比损失来避免复杂的训练流程,解决了 Contrastive Representation Learning(CRL)与有监督学习的优化冲突,并采用二维高斯混合模型(GMM)同时利用语义信息和模型输出来区分干净和噪声样本。
Feb, 2024
通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示,我们提出了一个概念性框架,该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-,并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM(YADIM),我们展示了我们框架的效用,该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果,并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究,我们发布了此概念框架的 PyTorch 实现,以及 AMDIM、CPC(V2)、SimCLR、BYOL、Moco(V2)和 YADIM 的标准化实现。
Aug, 2020
通过对半监督语义分割进行对比学习取得了巨大突破,但是由于有限的注释,模型自身生成的无标签图像上的引导 inevitably 存在噪音,扰乱了无监督训练过程。为了解决这个问题,我们提出了一个强大的基于对比的 S4 框架,称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外,我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息,它在表示中即使存在噪声也是鲁棒的,并且承载着表示的类内差异。此外,我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。
Feb, 2024
通过对自我监督学习中的对比学习方法进行改进,引入了一种使用负样本的软相似度而不是二进制关系的无监督学习算法,可更好地处理不平衡的无标签数据并获得与最先进模型类似的结果。
Dec, 2020