Oct, 2021

动量对比自监督学习中中间层的重要性

PDF
TL;DR通过自我监督学习的方法，采用不同的损失函数，在三个医学成像数据集上，比标准的 MoCo 方法表现更好，特别是在低标记数据情况下，平均增益为 5％，通过更高的特征重用性和更早学习信息提示，提出的预训练方法能够让模型在低标记数据清中呈现更好表现，为预训练方法提供了更多证据。
self-supervised learningmomentum contrastive methodmedical imaging datasetslow-labeled data regimepre-training
发现论文，激发创造
  • 扩展动量对比法：基于交叉相似性一致性正则化

    该篇论文论述了一种名为 Extended Momentum Contrast (XMoCo) 的自我监督表示学习方法，该方法利用新的跨一致性正则化损失来扩展 MoCo 家族配置中动量编码器单元的框架，以处理消极样本交互所存在的特定差异和相似性。

    Jun, 2022

  • MoCo-CXR: MoCo 预训练提高了胸部 X 射线模型的表示和可迁移性

    本文介绍了使用对比学习方法 Momentum Contrast（MoCo）的改进版本 MoCo-CXR，将其应用于胸部 X 线检测的路径学疾病识别，并探讨了其对预训练模型表征和初始化的改进效果，结果表明 MoCo-CXR 的预训练模型优于未经过 MoCo-CXR 的模型，并证明预训练模型提供的最大好处是能够应用于胸部 X 线数据集和任务的模型表征和可转移性。

    Oct, 2020

  • 无监督视觉表征学习的动量对比法

    用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

    Nov, 2019

  • 改进的动量对比学习基线

    通过在 MoCo 框架中实现 SimCLR 的两个设计改进（使用 MLP 投影头和更多数据增强），我们建立了更强的基线模型，而不需要大的训练批次，从而检验了对比无监督学习的有效性。

    Mar, 2020

  • MoCo-Transfer: 探索有限数据领域的非分布式对比学习

    通过分析在有限数据集中传递自我监督对比表示与从 ImageNet 迁移的益处，研究发现对不同身体部位进行自我对比训练在相关领域比使用 ImageNet 预训练权重效果更好，并提供了一种初步量化数据集相似性的方法。

    Nov, 2023

  • UniMoCo: 无监督、半监督和全监督的视觉表示学习

    提出 Unified Momentum Contrast (UniMoCo) 方法，支持任意比例的有标签数据和无标签数据的训练，在理论和实践上优于有监督对比损失，对于无监督、半监督和监督视觉表示学习具有很好的泛化能力。

    Mar, 2021

  • 克服自监督对比学习在医学图像分割中的尺寸坍塌问题

    本文研究将对比学习应用于医学图像分析领域，发现在医学图像上应用最先进的对比学习方法 MoCo v2 存在维度坍缩问题，并提出了局部特征学习和特征去相关两项关键贡献，实验证明这两个贡献显著提升了模型在医学分割任务的性能。本研究突显了将自监督学习技术有效适应医学图像任务特征的重要性。

    Feb, 2024

  • MimCo: 带对比教师的遮蔽图像建模预训练

    本文提出了一种名为 MimCo 的新型、灵活的预训练框架，通过两阶段的预训练，将 MIM 和对比学习相结合，提高了 MIM 预训练表示的线性可分性，取得了优越的性能。

    Sep, 2022

  • 自监督教师的蒸馏

    提出一种名为 MOMA 的框架，通过三种不同的知识转移机制在自我监督的方式下，将来自 MoCo 和 MAE 的知识合作起来，从而产生紧凑的学生模型，在计算效率方面具有极高的蒙面率和显著降低的训练代数，实验证明 MOMA 在计算机视觉方面的不同基准测试中都具有竞争力。

    Feb, 2023

  • 自监督视觉预训练的密集对比学习

    本文介绍了一种基于像素的密集自监督学习方法，通过考虑局部特征之间的对应关系，实现了对密集预测任务的有效优化，包括物体检测，语义分割和实例分割。与基线方法 MoCo-v2 相比，该方法仅引入了微不足道的计算开销，但表现出了更好的性能。

    Nov, 2020