Feb, 2024

探讨视觉变换器在医学图像分类中对标签噪声的稳健性

PDF
TL;DR医学图像分类数据集中的标签噪声严重影响了受监督深度学习方法的训练，削弱了其泛化能力。本文研究了 Vision Transformer (ViT) 相对于 CNN 的鲁棒性，以及其处理医学图像分类中标签噪声的能力，并使用两个医学图像分类数据集进行了实验验证。
label noisemedical image classificationsupervised deep learningcnn-based architecturesvision transformer
发现论文，激发创造
  • 理解 Transformer 模型在图像分类中的稳健性

    本文探讨了基于 Transformer 的网络架构如 Vision Transformer（ViT）的鲁棒性问题，并针对输入扰动和模型扰动等多个方面进行了实验比较，发现在使用足够的数据量进行预训练的情况下，ViT 模型的鲁棒性至少和 ResNet 的对应模型一样。同时，实验还发现虽然后面的层激活之间高度相关，但每一层都对分类起到了重要作用。

    Mar, 2021

  • 预训练的 ViT 模型在医疗图像中得到了多用途的表示

    本研究探讨了视觉 Transformer 在医学图像分类中的优劣，并发现使用预训练模型时，视觉 Transformer 可以与卷积神经网络媲美，成为 CNN 的一种可行替代方法。

    Mar, 2023

  • 关于视觉 Transformer 的对抗鲁棒性

    本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

    Mar, 2021

  • 视觉 Transformers 是强大的学习器

    本文旨在研究 Vision Transformer 对常见的图像扰动、分布偏移和自然对抗样本的稳健性，并在六个不同的 ImageNet 数据集上与 SOTA 卷积神经网络进行性能比较，通过一系列六个系统设计的实验，提供了定量和定性的分析来解释 ViT 为什么是更加稳健的学习器。

    May, 2021

  • 查询高效的硬标签黑盒攻击视觉变换器

    本文研究视觉变换器（ViTs）在黑盒情况下对抗性攻击的脆弱性，并提出了一种名为 AdvViT 的新型查询高效的硬标签对抗性攻击方法，通过优化各个图像块的对抗扰动来降低扰动搜索空间的维度，并设计了一个权重掩码矩阵来进一步优化整个图像不同区域的扰动。实验结果表明，与对卷积神经网络的最新攻击相比，我们的 AdvViT 在相同查询预算下具有较低的 L2 范数扭曲，充分验证了 ViTs 在对抗性攻击下的脆弱性。

    Jun, 2024

  • 用于胸部 X 射线和胃肠道图像分类的视觉 Transformer

    使用不同的卷积神经网络和 Transformer 方法以及广泛的数据增强技术，在三个医学图像数据集上比较了它们的表现，并将视觉 Transformer 模型与其他先进的预训练 CNN 网络进行了评估和比较，在分类不同的解剖结构、所见和异常方面，我们的 Transformer 模型优于或更有效，比 CNN 基于的方法有所改进，建议将其用作算法开发的新基准算法。

    Apr, 2023

  • 卷积神经网络、ResNet 和视觉 Transformer 在胸部疾病多分类中的比较研究

    使用大规模语言模型和 Transformer 架构，基于 ViT 模型，在多标签分类任务中对胸部 X 射线图像进行准确的肺部疾病诊断。

    May, 2024

  • Vision Transformer 对补丁扰动具有鲁棒性吗？

    该论文基于自然污染和对抗攻击的影响，研究了视觉变压器（ViT）和卷积神经网络（CNN）在图像分类中的表现，发现 ViTs 对自然污染更具鲁棒性，但易受对抗性攻击，然后提出了一种简单的基于温度缩放的方法来提高 ViT 对对抗性攻击的鲁棒性。

    Nov, 2021

  • 视觉 Transformer 对虚假相关性的鲁棒性研究

    在本文中，我们通过在三个具有挑战性的基准数据集上的实验，系统地研究了视觉变换器对于伪相关性的稳健性，并将其与受欢迎的 CNN 进行了比较。我们的研究表明，当在足够大的数据集上进行预训练时，视觉变换器比 CNN 更具稳健性。他们的成功关键在于能够更好地从不满足伪相关性的示例中进行泛化。此外，我们进行了大量消融和实验来理解自我关注机制在在伪相关环境下提供稳健性的作用，我们希望我们的工作可以启发未来进一步了解 ViT 模型的稳健性。

    Mar, 2022

  • 是否该用 Transformer 代替 CNN 处理医学图像？

    本文探讨在医学图像诊断领域中，卷积神经网络和视觉 Transformer 哪一种更优秀，发现使用预训练的视觉 Transformer 模型（尤其是自监督预训练）可以优化诊断性能。

    Aug, 2021