AAAIDec, 2021

InsCLR: 基于自监督的实例检索性能优化

PDF
TL;DR该研究旨在通过自我监督方法改善实例检索的性能。作者发现当前流行的 SSL 方法（如 SimCLR 和 MoCo）不能有效提高实例检索的性能。为解决这个问题，作者提出了一种名为 InsCLR 的新型 SSL 方法，该方法使用实例内对比来学习类内不变性，并使用动态挖掘有意义的伪正样本来提高鲁棒性，实验结果表明，InsCLR 在实例检索方面达到了与当前最先进的 SSL 方法相似甚至更好的性能。
发现论文，激发创造
  • 迭代自适应自我定位对比学习的多示例学习方法

    提出使用迭代自适应有监督对比学习来改善多示例学习表示的框架，通过使用从样本级别伪标签获得的实例级伪标签来处理类不平衡问题，并使用新颖自适应抽样策略来确保伪标签的准确性，在三个医学数据集上的实验表明，该框架提高了实例级伪标签和表示的质量，并在袋和实例级准确性方面优于现有的 MIL 方法。

    Oct, 2022

  • 一个概率模型解释自监督表示学习

    自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

    Feb, 2024

  • 视觉表示对比学习的简单框架

    SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

    Feb, 2020

  • 双重深度网络的自监督学习理解

    提出了一种新的理论框架来理解对比自监督学习方法，该方法采用双重 ReLU 网络（例如 SimCLR）。我们证明了每个 SGD 更新中的权重是由协方差算子更新的，并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReLU 网络的隐藏层学习了该模型的潜变量，我们总结了通过对比自监督学习的初始随机选择法放大而形成的层次化特征。

    Oct, 2020

  • SegLoc”: 针对安全检查 X 射线图像的密集预测任务量身定制的新型视觉自监督学习方案的研究

    使用自我监督学习方案对人工智能进行了重要进展，将对比学习整合到现有的自我监督学习模型中，在计算机视觉领域取得了显著的进展，通过提出的模型 Segmentation Localization 对密集预测的语义分割任务进行了评估，并通过实现每个类别一个队列的思想在 MoCo-v2 中避免了假阴性对。

    Oct, 2023

  • 使用局部对比损失的自监督学习，用于检测和语义分割

    提出了一种自监督学习方法，适用于对象检测和语义分割等半全局任务，通过在训练期间最小化像素级的本地对比损失（LC-loss），在自学习特征中强制实现对变换后的同一图像的相应图像位置之间的本地一致性，可将 LC-loss 添加到现有的自监督学习方法中，并在 COCO、PASCAL VOC 和 CityScapes 数据集上评估 SSL 方法，结果比现有的先进自监督学习方法在 COCO 对象检测、PASCAL VOC 检测和 CityScapes 分割等任务上分别提高了 1.9％，1.4％和 0.6％。

    Jul, 2022

  • 提高自监督学习的算法、模型和数据效率

    通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。

    Apr, 2024

  • 注视估计的对比表示学习

    本文提出了一个基于对比学习方法的简单的凝视估计学习框架 ——GazeCLR， 其中利用多视图数据促进等价变换，并使用选定的数据增强技术进行不变性学习。实验结果表明，GazeCLR 在多个凝视估计任务和 few-shot 评估上都取得了显著的效果，并与最先进的表示学习方法相当。

    Oct, 2022

  • 具有辅助增强的自监督学习与引导式投影仪

    本文提出了一种条件增强感知的自监督学习方法（CASSLE），使用投影器网络对图像进行辅助引导，以实现对不同数据扩充方法的感知敏感性，并可获得多项下游任务的最新性能表现。

    May, 2023

  • 多实例孪生自监督表示学习用于自动驾驶

    自主驾驶是一个备受关注的领域，但标记数据的收集过程非常困难，自监督学习可能是提高模型性能的一种有效方式。本文提出了一种名为 MultiSiam 的方法，解决了多示例情况下的自监督学习存在的问题，包括跨视图一致性和相似度度量。该方法在公开数据集上具有很强的性能表现，并显示了特定领域预训练的潜力。

    Aug, 2021