Aug, 2023
SEDA：用于鲁棒性胸部 X 光分类的自我融合 ViT，包括防御蒸馏和对抗训练
SEDA: Self-Ensembling ViT with Defensive Distillation and Adversarial Training for robust Chest X-rays Classification
Raza Imam, Ibrahim Almakky, Salma Alrashdi, Baketah Alrashdi, Mohammad Yaqub
TL;DR本研究的主旨是提升自包含的视觉 Transformer（ViT）在结核病胸部 X 光分类任务中的鲁棒性，通过引入有防御性的蒸馏和对抗训练的 SEDA 模型，SEDA 利用了高效的 CNN 块来从中间 ViT 块提取的特征表示中学习具有不同抽象级别的空间特征，这些特征受对抗扰动的影响较小，在公开可获取的结核病 X 光数据集上的大规模实验表明，SEDA 在计算效率上比 SEViT 更强大，框架轻巧 70 倍，并且具有更强的鲁棒性，效果提升 9%。