Nov, 2023

MoCo-Transfer: 探索有限数据领域的非分布式对比学习

PDF
TL;DR通过分析在有限数据集中传递自我监督对比表示与从 ImageNet 迁移的益处，研究发现对不同身体部位进行自我对比训练在相关领域比使用 ImageNet 预训练权重效果更好，并提供了一种初步量化数据集相似性的方法。
medical imaging datasiloedself-supervised contrastive representationsx-ray datasetspretraining
发现论文，激发创造
  • MoCo-CXR: MoCo 预训练提高了胸部 X 射线模型的表示和可迁移性

    本文介绍了使用对比学习方法 Momentum Contrast（MoCo）的改进版本 MoCo-CXR，将其应用于胸部 X 线检测的路径学疾病识别，并探讨了其对预训练模型表征和初始化的改进效果，结果表明 MoCo-CXR 的预训练模型优于未经过 MoCo-CXR 的模型，并证明预训练模型提供的最大好处是能够应用于胸部 X 线数据集和任务的模型表征和可转移性。

    Oct, 2020

  • 动量对比自监督学习中中间层的重要性

    通过自我监督学习的方法，采用不同的损失函数，在三个医学成像数据集上，比标准的 MoCo 方法表现更好，特别是在低标记数据情况下，平均增益为 5％，通过更高的特征重用性和更早学习信息提示，提出的预训练方法能够让模型在低标记数据清中呈现更好表现，为预训练方法提供了更多证据。

    Oct, 2021

  • 对比学习视觉表示的可转移性广泛研究

    本文通过研究在 12 个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面，系统地探讨了对比学习的不同方法学习到的表示的可迁移性，结果表明对比方法学习到的表示很容易适应不同的任务。除此之外，自监督对比损失与交叉熵 / 监督对比损失的联合目标可增强这些模型的可迁移性。

    Mar, 2021

  • 在多领域数据集上训练的有监督对比学习所学到的表示的可迁移性

    使用多领域数据集的超级对比学习模型相比使用交叉熵模型，平均在 7 个下游数据集上表现更好，结果显示其学习到的表示更具鲁棒性且可跨领域转移。

    Sep, 2023

  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021

  • 跨领域边界探索迁移学习的实用性：为什么我的医学 AI 要查看鸟类图片？

    研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

    Jun, 2023

  • 去中心化无标签医学影像的联邦对比学习

    本研究提出了一个名为 FedMoCo 的鲁棒性联邦对比学习（FCL）框架，该框架在临床领域的分布式无标签医学数据上进行元数据传输和自适应聚合，并在 COVID-19 检测等下游任务中显著减少有标签数据需求，从而相对于传统联邦学习框架 FedAvg，更能在从医学图像中提取有意义的表示方面表现良好。

    Sep, 2021

  • 无监督视觉表征学习的动量对比法

    用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

    Nov, 2019

  • 自我监督领域内与监督领域外迁移学习在鸟类物种识别中的比较

    该论文研究了在数据稀缺情景中，将预训练模型的权重转移用于辅助其他任务的重要性，特别是在深度学习领域中。通过对训练好的模型进行微调，可以有效改善对鸟类物种识别的性能。

    Apr, 2024

  • 跨越极端任务差异的少样本迁移自训练

    本文介绍了一种解决领域差异的简单有效方法：在目标域的未标记数据上进行基于自我训练的源域表示法预训练，从而改善在目标任务上的一次性性能。在 BSCD-FSL 基准测试中，本方法使目标域的一次性性能平均提高了 2.9 点。

    Oct, 2020