Jan, 2023
基于随机掩码采样的医学影像高效分布式视觉 Transformer 基础模型
Efficient Distributed Vision Transformer Foundation Model for Medical Imaging through Random Masked Sampling
Sangjoon Park, Ik-Jae Lee, Jun Won Kim, Jong Chul Ye
TL;DR该研究提出了一种基于自监督遮掩采样蒸馏方法的视觉 Transformer，它可以在不需要持续通信的情况下进行，同时使用特定于视觉 Transformer 的加密方法来增强隐私保护，经过对两种医疗数据和两种不同下游任务的广泛实验表明，该方法具有比现有的分布式学习策略和基线微调方法更好的性能，而自我监督模型可以具有对模态的一般语义理解能力，证明了其作为各种医疗任务的任务不可知基础模型的潜力，拓展了在医学领域的适用性。