- ICLR联邦对比学习的互信息视角
我们通过 SimCLR 和多视图互信息最大化的角度研究了联邦环境中的对比学习,其中发现了对比表示学习与用户验证之间的关联;通过在每个客户端的本地 SimCLR loss 加上用户验证损失,我们恢复了全局多视图互信息的下界。为了适应在客户端存 - 增强对比实例判别的语义正对组
本研究提出了一种基于语义正例对集合(SPPS)的方法,它可以降低在表示学习期间丢失重要特征的风险,并在 ImageNet,STL-10 和 CIFAR-10 数据集上验证了该方法的可行性。
- 自监督学习模型在基于传感器的人类活动识别中的表征解释、分析和探索
本文研究自监督学习在传感器人体活动识别中的应用,并分析了两个最近的自监督学习框架 SimCLR 和 VICReg 的深层表示,比较了监督和自监督模型对输入数据噪声的鲁棒性,并通过可解释性方法探索了 SSL 和监督表示中编码的性质。研究表明, - EiHi Net: 面向外部数据分布的泛化范式
本文提出了一种名为 EiHi net 的建模策略,通过将 SimCLR 和 VIC-Reg 建模方法融合,并在通常的模型识别问题中引进少量有指导意义的样本,成功地解决了深度学习的外部数据泛化问题。
- AAAIInsCLR: 基于自监督的实例检索性能优化
该研究旨在通过自我监督方法改善实例检索的性能。作者发现当前流行的 SSL 方法(如 SimCLR 和 MoCo)不能有效提高实例检索的性能。为解决这个问题,作者提出了一种名为 InsCLR 的新型 SSL 方法,该方法使用实例内对比来学习类 - ICML对比学习的记忆特性
本研究探讨了自监督学习方法 SimCLR 的记忆属性,并将其与监督学习和随机标签训练的记忆进行比较,发现训练对象和增强方式可能在记忆方面存在差异,并且 SimCLR 在训练对象难度分布上与随机标签训练类似。
- ICML通过结合对比学习、图像重建和注意力加权汇聚,实现细粒度视觉表征
本文提出对比重构(ConRec)算法,它通过联合优化对比和自重构损失获得图像表示,并添加了一个自重构任务和一个在对比学习任务中的注意机制以改进捕捉图像的细粒度视觉特征,证明该算法在捕捉细粒度视觉特征方面优于 SimCLR。
- 自监督野外视觉特征预训练
本研究探讨了自监督学习是否能够在没有监督的情况下从随机图片上进行学习。通过 SEER 模型的研究表明,自监督学习在真实环境中的表现优于监督学习方法。
- 数字病理学的自监督对比学习
本文介绍一种使用 SimCLR 方法进行自监督学习的无监督学习方法,该方法在数字病理学数据集上的预训练在多项下游任务中优于在 ImageNet 上预训练的网络,F1 平均分提高了 28% 以上。
- 探究对比学习在健康人体活动识别中的应用
本文旨在将对比学习技术 SimCLR 应用于人类行为识别(HAR)中,通过 64 种不同信号转换来增强数据,发现在健康相关应用中,该技术可显著改善监督和无监督学习方法的性能。
- Speech SIMCLR:将对比和重构目标相结合,实现自我监督语音表示学习
本文提出了一种名为 Speech SimCLR 的新自监督学习方法,通过对原始语音和其频谱图进行增强,结合对比损失最大化潜在空间中不同增强样本的一致性以及输入表示的重构损失函数进行训练,取得了在语音情感识别和语音识别上的良好结果。
- 双重深度网络的自监督学习理解
提出了一种新的理论框架来理解对比自监督学习方法,该方法采用双重 ReLU 网络(例如 SimCLR)。我们证明了每个 SGD 更新中的权重是由协方差算子更新的,并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReL - 非监督视觉特征学习的参数化实例分类
该研究提供了一种用于无监督视觉特征学习的参数实例分类(PIC)方法,通过适应状态 - of-the-art 方法的常见组件设置,PIC 框架可以像 SimCLR 和 MoCo v2 一样有效,并且引入了解决 PIC 中实例访问过于稀疏的滑动 - 改进的动量对比学习基线
通过在 MoCo 框架中实现 SimCLR 的两个设计改进(使用 MLP 投影头和更多数据增强),我们建立了更强的基线模型,而不需要大的训练批次,从而检验了对比无监督学习的有效性。
- ICML视觉表示对比学习的简单框架
SimCLR 是一种简单的对比学习框架,通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果,在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。