Oct, 2020

MoCo-CXR: MoCo 预训练提高了胸部 X 射线模型的表示和可迁移性

PDF
TL;DR本文介绍了使用对比学习方法 Momentum Contrast（MoCo）的改进版本 MoCo-CXR，将其应用于胸部 X 线检测的路径学疾病识别，并探讨了其对预训练模型表征和初始化的改进效果，结果表明 MoCo-CXR 的预训练模型优于未经过 MoCo-CXR 的模型，并证明预训练模型提供的最大好处是能够应用于胸部 X 线数据集和任务的模型表征和可转移性。
发现论文，激发创造
  • MoCo-Transfer: 探索有限数据领域的非分布式对比学习

    通过分析在有限数据集中传递自我监督对比表示与从 ImageNet 迁移的益处，研究发现对不同身体部位进行自我对比训练在相关领域比使用 ImageNet 预训练权重效果更好，并提供了一种初步量化数据集相似性的方法。

    Nov, 2023

  • 动量对比自监督学习中中间层的重要性

    通过自我监督学习的方法，采用不同的损失函数，在三个医学成像数据集上，比标准的 MoCo 方法表现更好，特别是在低标记数据情况下，平均增益为 5％，通过更高的特征重用性和更早学习信息提示，提出的预训练方法能够让模型在低标记数据清中呈现更好表现，为预训练方法提供了更多证据。

    Oct, 2021

  • DiCoM -- 提高胸部 X 射线研究普适性的多样概念建模

    Chest X-Ray used in diagnosis and prognosis of lung and heart conditions. Introducing Diverse Concept Modeling (DiCoM) for self-supervised pre-training of CXR data, achieving robust performance in downstream tasks and outperforming other pre-training strategies.

    Feb, 2024

  • 通过对比学习提升自动胸部 X 射线诊断的公平性

    应用监督对比学习可以减轻胸部 X 射线诊断中的偏见，解决深度学习诊断方法中的公平性和可靠性问题。

    Jan, 2024

  • MimCo: 带对比教师的遮蔽图像建模预训练

    本文提出了一种名为 MimCo 的新型、灵活的预训练框架，通过两阶段的预训练，将 MIM 和对比学习相结合，提高了 MIM 预训练表示的线性可分性，取得了优越的性能。

    Sep, 2022

  • 无监督视觉表征学习的动量对比法

    用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

    Nov, 2019

  • 利用时间相关的医学影像进行对比学习：以胸部 X 光肺部分割为例的案例研究

    本研究提出了一种名为 CL-TCI 的对比学习框架，与 MoCo 和 SimCLR 两种方法相结合，利用医学图像中的时间相关性信息，成功地使得在三个胸部 X 射线数据集上的肺部分割结果优于没有任何时间相关性的对比学习基线。

    Sep, 2021

  • 基于自监督表示学习和多图像预测的 COVID-19 预后

    本文使用 self-supervised 学习方法（即 MoCo 方法）实现了以胸部 X 光为基础的 COVID-19 患者恶化预测模型，包括不良事件恶化和氧需求增加两种类型，并提出了可处理多图像序列的新型 Transformer-based 架构，在 96 小时内，模型准确预测了患者的恶化和死亡情况。

    Jan, 2021

  • 扩展动量对比法：基于交叉相似性一致性正则化

    该篇论文论述了一种名为 Extended Momentum Contrast (XMoCo) 的自我监督表示学习方法，该方法利用新的跨一致性正则化损失来扩展 MoCo 家族配置中动量编码器单元的框架，以处理消极样本交互所存在的特定差异和相似性。

    Jun, 2022

  • 通过图像图对比预训练学习泛化的医学图像表示

    通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

    May, 2024