Oct, 2022

具有不确定性感知上下文稳定器的像素全局自监督学习

PDF
TL;DR本文提出了一种基于 SSL（自监督学习）的方法，通过全局一致性和像素级局部一致性来捕捉不同增强视图之间的一致性，引入了基于不确定性的上下文稳定器，使用 MC dropout 来衡量不确定性，并自适应平衡不同视图中相同像素的表征之间的差异。
ssl approachglobal consistencypixel-level local consistenciesteacher-student architectureuncertainty-aware context stabilizer
发现论文，激发创造
  • 使用局部对比损失的自监督学习，用于检测和语义分割

    提出了一种自监督学习方法，适用于对象检测和语义分割等半全局任务，通过在训练期间最小化像素级的本地对比损失（LC-loss），在自学习特征中强制实现对变换后的同一图像的相应图像位置之间的本地一致性，可将 LC-loss 添加到现有的自监督学习方法中，并在 COCO、PASCAL VOC 和 CityScapes 数据集上评估 SSL 方法，结果比现有的先进自监督学习方法在 COCO 对象检测、PASCAL VOC 检测和 CityScapes 分割等任务上分别提高了 1.9％，1.4％和 0.6％。

    Jul, 2022

  • PCRLv2：用于自监督预训练的医学图像分析统一视觉信息保护框架

    提出了一个基于像素恢复和多任务优化的统一半监督学习框架，用于医学图像分析，并在包括脑部肿瘤分割，胸部病理学识别和肺部结节检测在内的各种任务中取得了优于其他自监督学习方法的表现。

    Jan, 2023

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 具有辅助增强的自监督学习与引导式投影仪

    本文提出了一种条件增强感知的自监督学习方法（CASSLE），使用投影器网络对图像进行辅助引导，以实现对不同数据扩充方法的感知敏感性，并可获得多项下游任务的最新性能表现。

    May, 2023

  • 利用本地和全局表示：一种新的自监督学习策略

    该研究提出了一种新的自监督学习策略，称为 LoGo，它通过不同的本地和全局裁剪来促进特征的多样性，并取得了在 1/10 数据的情况下超越有监督模型的转移学习的最好结果。

    Mar, 2022

  • 像素级半监督学习的引导协作训练

    本文提出了一种名为 GCT 的新型 SSL 框架，它可用于广泛的像素级任务，在有效解决密集输出问题的同时，通过两个独立于任务特性的约束，让模块从未标记数据中协同学习。广泛实验表明，GCT 在四种具有挑战性的视觉任务中均优于现有 SSL 方法。

    Aug, 2020

  • 跨视角自我监督学习中学习何处学习

    本研究介绍了新方法 LEWEL，该方法通过适应性地聚合特征的空间信息来对齐嵌入向量，并达到更好的特征学习。该方法利用投影头将其解释为每个像素的投影，从原始特征预测一组空间对齐映射，通过这些对齐映射按空间加权聚合特征，因此得到了一系列对齐的嵌入向量。在图像级和密集预测上，LEWEL 都有显着改善表现。

    Mar, 2022

  • SegLoc”: 针对安全检查 X 射线图像的密集预测任务量身定制的新型视觉自监督学习方案的研究

    使用自我监督学习方案对人工智能进行了重要进展，将对比学习整合到现有的自我监督学习模型中，在计算机视觉领域取得了显著的进展，通过提出的模型 Segmentation Localization 对密集预测的语义分割任务进行了评估，并通过实现每个类别一个队列的思想在 MoCo-v2 中避免了假阴性对。

    Oct, 2023

  • CASTing Your Model: 学习本地化改善自监督表示

    提出了一种名为 CAST 的方法，在场景图像上使用无监督的显著性图提供关注力监督，显著改善了自监督学习方法在场景图像上学习的特征，同时进一步实验表明，CAST 训练的模型对背景的变化更具鲁棒性。

    Dec, 2020

  • 通过不确定性量化来辅助半监督学习

    本文提出了一种基于不确定性感知的新型无监督目标函数，结合最近 SSL 技术，在保证计算效率的同时，在基准数据集中表现优于或与现有最先进技术水平相当，尤其在复杂数据集如 CIFAR-100 和 Mini-ImageNet 上表现最好。

    Jul, 2022