Oct, 2023

Medi-CAT: 医学图像分类的对抗对比训练

PDF
TL;DR这篇论文研究了在医学图像数据集中，由于欠拟合和过拟合现象，无法很好地工作的深度学习模型问题，并提出了一种名为 Medi-CAT 的训练策略，采用了大型预训练视觉变换器以克服欠拟合，并采用对抗性和对比性学习技术以防止过拟合，实验结果表明，相比于其他已知方法，这种方法在三个基准数据集上提高了 2% 的准确性，并且相对于基准方法提高了 4.1% 的性能。
发现论文，激发创造
  • 课程对抗训练

    本文提出课程对抗性训练 (CAT) 的方法，通过产生一系列攻击强度不同的对抗性样本，使用两种技术解决模型遗忘和泛化问题， 并证明 CAT 方法可以将 CIFAR-10 和 SVHN 的经验最坏情况精度大幅提高 25% 和 35%。同时，在非对抗性输入上，该模型的表现与现有最先进模型相当。

    May, 2018

  • 通过图像图对比预训练学习泛化的医学图像表示

    通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

    May, 2024

  • CAT: 个性化图像生成的对比适配器训练

    通过对比适配器训练中的知识保存得分（Knowledge Preservation Score，KPS）以及采用 CAT 损失，我们展示了低成本下个性化图像生成的各种适配器，以及通过对比联适配器训练来提高适配器训练的简单而有效策略。

    Apr, 2024

  • SCAT: 基于对抗训练的鲁棒自监督对比学习在文本分类中的应用

    本文提出了一种名为 SCAT 的自我监督对比式学习的新型框架，它可以在不要求已标记数据的情况下学习稳健的表示，并且可以增强现有预训练语言模型的稳健性。

    Jul, 2023

  • CAT: 用于提高鲁棒性的定制对抗训练

    本文提出一种称为自定义对抗训练（CAT）的新算法。通过自适应地定制对抗样本的扰动级别和相应的标签，CAT 算法在对抗训练中使得训练样本的多样性增强，取得了比以前的对抗训练方法更好的干净和鲁棒性能。

    Feb, 2020

  • TransMed: 基于 Transformers 的多模态医学图像分类

    该研究提出了一种结合了 CNN 和 transformer 的方法 ——TransMed，在多模态医学图像分类中取得了很好的性能，这一方法为医学图像分析任务开启了更多可能性。

    Mar, 2021

  • 处理医学图像深度学习中的小数据集：对卷积模型进行自监督预训练的 CT 扫描上对比对比度和遮码自编码器方法的评估

    深度学习在医学影像中具有潜力，可以减少诊断错误的风险，减轻放射科医生的工作负荷并加速诊断。为了解决医学影像领域注释数据集不足的挑战，我们通过预先训练大型无注释图像数据集上的深度学习模型来实现自我监督学习，并提出了 SparK 预训练方法，它在小型数据集上表现更为稳健。

    Aug, 2023

  • 重新思考模型原型设计：通过 MedMNIST + 数据集集合

    该研究提供了一个全面的基准测试，用于多样化评估医学图像分类的常见卷积神经网络和 Transformer-based 模型，并发现计算效率高的训练方案和现代基础模型在减少昂贵的端到端训练和资源精细的方法之间具有潜力。此外，研究结果表明，较高分辨率未必在一定阈值之上始终提高性能，提倡在原型阶段尤其使用较低分辨率以加快处理速度。同时，该研究也确认了卷积模型与 ViT-based 模型的竞争力，强调了不同模型架构的内在能力的重要性。希望该研究的标准化评估框架能够提高 MedMNIST + 数据集以及未来研究的透明度、可复现性和可比性。

    Apr, 2024

  • 用于半监督乳腺肿块分类的虚拟对抗训练

    本研究旨在开发一种新的计算机辅助诊断 (CAD) 方案，以利用半监督学习对乳腺 X-ray 图像进行良恶性分类，采用虚拟对抗培训方法，提高模型的鲁棒性和分类准确性。

    Jan, 2022

  • 引入自适应连续对抗训练（ACAT）以增强机器学习的鲁棒性

    连续自适应对抗训练（ACAT）不断地将对抗训练样本整合到模型中，使用实际检测到的对抗数据，增强模型对不断演变的对抗威胁的抵抗能力，同时减轻灾难性遗忘，并降低了对抗样本检测所需的总时间。

    Mar, 2024