Sep, 2023

深度模型初始化对成人和儿科胸部 X 射线图像推广的影响揭示

PDF
TL;DR模型初始化技术在医学计算机视觉中的深度学习模型性能和可靠性的提高至关重要。本研究探讨了三种深度模型初始化技术：Cold-start、Warm-start 和 Shrink and Perturb start，并重点研究了成人和儿科人群的胸部 X 射线影像。我们还提出了新颖的集成方法：F-score-weighted Sequential Least-Squares Quadratic Programming（F-SLSQP）和 Attention-Guided Ensembles with Learnable Fuzzy Softmax，以整合来自多个模型的权重参数，并利用它们的集体知识和互补表示形式。研究结果表明，使用 ImageNet 预训练的权重初始化的模型在内部和外部测试中表现出卓越的泛化能力，与随机初始化的模型相比具有一致的性能，并且这些模型的权重级别集成在测试过程中具有更高的召回率 (p<0.05)。因此，本研究强调了使用 ImageNet 预训练权重初始化的好处，尤其是与权重级别的集成一起使用，以创建强大且具有广泛适用性的深度学习解决方案。
model initialization techniquesdeep learning modelsmedical computer visionchest x-raysensemble methods
发现论文，激发创造
  • CheXtransfer: 使用 ImageNet 模型进行胸部 X 射线解读的性能和参数效率

    本文研究了预训练模型在胸透解释方面的应用，通过对 16 种不同的卷积神经网络评估它们的迁移学习效果和参数效率，发现 ImageNet 性能和 CheXpert 性能之间不存在关系，而 ImageNet 预训练可以提高胸透解释的性能，并通过截取最后一层的方法使模型可节省 3.25 倍的参数而不影响性能。

    Jan, 2021

  • 利用对比学习和嵌入相似性改进小儿肺炎诊断的方法 - 使用成年人胸部 X 射线图像

    我们提出了一个基于深度学习的框架，利用儿科和成人的成像数据集来改善深度学习模型在儿科测试数据集上的性能，以便实现针对成人和儿科的通用 CAD 模型。

    Apr, 2024

  • 数据源的重要性：医学影像模型的鲁棒性受数据源影响

    调查传统学习与样本数据是否能够解释医学图像分类任务中的性能提升，结果显示经 ImageNet 预训练与经 RadImageNet 预训练的模型在分类性能上相似，但 ImageNet 更容易过拟合。建议使用 ImageNet 预训练模型的研究人员进行类似实验以重新评估模型的稳健性。

    Mar, 2024

  • 通过卷积神经网络和视觉变换器的模型级集成来提高肺炎检测的新方法

    通过模型融合的方式，将卷积神经网络和视觉 Transformer 网络结合起来，以提高基于胸部 X 射线图像的肺炎诊断的准确性。融合模型在 Kaggle 小儿肺炎数据集上取得了 94.87% 的准确率，比基准模型表现更好。

    Jan, 2024

  • 深度挖掘外部不完美数据用于胸部 X 光疾病筛查

    本文提出了一种用于 Chest X-ray 的多标签分类深度学习框架，通过领域和标签的权重独立二进制任务方法以及任务特定的生成对抗网络训练，处理多个数据集之间的差异性，提高了分类准确度。在三个数据集上实验，AUC 达到了 0.8349，表明本文方法在使用外部数据集来提高内部分类方面具有很高的效果。

    Jun, 2020

  • 利用温启动改善胸部 X 射线报告生成

    本研究旨在探究利用计算机视觉和自然语言处理算法对患者胸透报告自动生成技术进行改进。研究表明，CvT2DistilGPT2 模型在 warm-starting encoder 和 decoder 方面效果最佳，其生成的报告在诊断准确度方面优于以往研究并更接近于放射科医生的报告。

    Jan, 2022

  • 利用大规模无标签自然图像增强医疗 AI 模型的网络初始化

    通过在非医学图像上进行自监督学习的预训练来提高医学图像诊断准确性的研究表明，选择正确的预训练策略，尤其是自监督学习，在医学成像中对人工智能的诊断准确性具有重要意义。

    Aug, 2023

  • 医学影像领域自适应和泛化的有力基础

    本研究在医学成像中提供了多源、多目标域适应和泛化问题的强大基准，通过使用 10 个不同胸透数据集的多样性集合，我们实证演示了在训练医学成像深度学习模型应用于不同病人群体的好处，以用于样本外的域泛化。

    Apr, 2019

  • 合成增强：揭示合成数据在医学影像研究中的潜力

    使用扩散模型的合成数据补充对胸部 X 射线影像（CXR）分析中深度学习（DL）分类器性能的影响进行了研究，评估了内部和外部数据集上分类器的性能，结果表明合成数据补充可以增强模型准确性，尤其是在检测罕见病变方面。然而，尽管结果有希望，真实数据的优越性仍然存在。

    Nov, 2023

  • 使用领域预训练语言模型提高低患病率胸部病变的零样本检测

    本文探讨利用特定领域预训练模型（如 CXR-BERT、BlueBERT 和 ClinicalBERT）替换 CLIP 的 BERT 权重以提高 CLIP 的性能，并针对低流行病的疾病检测评估了具有特定领域预训练的零样本分类模型，虽然替换权重降低了常见病的模型表现，但我们发现预训练文本确实对低流行病疾病具有更好的性能，鼓励未来使用多种不同的训练语言模型的集成模型以实现最大性能。

    Jun, 2023