Jul, 2020

对比学习：通过对比图像表示超越 ImageNet 预训练在放射线照片上的表现

PDF
TL;DR本文提出了一种名为 Comparing to Learn（C2L）的预训练方法，通过比较不同的图像表示来学习稳健特征，在放射线方面的实验结果显示，C2L 在医学图像分析领域中能够显著优于 ImageNet 预训练和以往的最先进方法。
pretrained modelsmedical image analysisdomain gappretraining methodcomparing to learn
发现论文，激发创造
  • 通过图像图对比预训练学习泛化的医学图像表示

    通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

    May, 2024

  • 跨领域边界探索迁移学习的实用性：为什么我的医学 AI 要查看鸟类图片？

    研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

    Jun, 2023

  • USCL：通过视频对比表示学习预训练深度超声图像诊断模型

    通过使用 US-4 数据集进行直接预训练，提出了一种名为 USCL 的 US 半监督对比学习方法，以学习来自 US-4 的功能强大的特征，并在多项下游任务中取得超越 ImageNet 预训练和其他 SOTA 预训练方法的结果。

    Nov, 2020

  • 注入比较先验知识的放射学报告生成增强

    本文提出了一种新的方法，通过使用标签机从医学报告中提取比较先前的信息，并将该先前信息整合到基于 Transformer 的模型中，从而更加真实和全面地生成医学报告。该方法测试表明效果优于之前的最先进模型，提供了一个有前景的方向来弥补医学报告生成中放射科医生和模型之间的知识差距。

    May, 2023

  • RadCLIP：通过对比语言 - 图像预训练增强放射学图像分析

    人工智能与放射学的整合标志着医学诊断的一个转型时代，采用视觉基础模型改进放射学图像分析，引入 RadCLIP 用于优化放射学图像分析，包括创新的三维切片池化机制和多样的放射学图像 - 文本数据集，评估结果显示 RadCLIP 可以有效对齐放射学图像与对应的文本标注，并提供强大的视觉支持。

    Mar, 2024

  • 医学影像和报告的局部表示联合学习

    LoVT 是一种面向医学图像的局部表征学习方法，结合基于实例的图像报告对比学习和图像区域及报告句子表征的局部对比学习，针对局部任务优化图像预先训练，相比其他常用预训练方法，在 18 个局部任务的评估框架中表现最佳，因此被认为是优选方法。

    Dec, 2021

  • 利用大规模无标签自然图像增强医疗 AI 模型的网络初始化

    通过在非医学图像上进行自监督学习的预训练来提高医学图像诊断准确性的研究表明，选择正确的预训练策略，尤其是自监督学习，在医学成像中对人工智能的诊断准确性具有重要意义。

    Aug, 2023

  • 医学视觉表征的对比学习：来自成对图像和文本

    使用自然组合描述文本，无需人工标注医学图像，通过双向对比目标的方法，使用 ConVIRT 进行预训练的医学图像编码器，将与医学图像配对的文本数据结合起来，极大地提高了数据使用效率。

    Oct, 2020

  • 数据源的重要性：医学影像模型的鲁棒性受数据源影响

    调查传统学习与样本数据是否能够解释医学图像分类任务中的性能提升，结果显示经 ImageNet 预训练与经 RadImageNet 预训练的模型在分类性能上相似，但 ImageNet 更容易过拟合。建议使用 ImageNet 预训练模型的研究人员进行类似实验以重新评估模型的稳健性。

    Mar, 2024

  • 医学图像分析的迁移学习系统基准测试分析

    通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

    Aug, 2021