本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器,通过实现以两种核心设计为基础的 MAE 方法:一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器,并使用更高比例的保持训练图片完整性的遮罩令牌,同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型,并 Transfer Learning 具有出色的性能。
我们提出了一种扩展的 Masked Autoencoders (MAEs) 方法,用于自我预训练 3D 医学图像分割任务,通过引入新的拓扑损失、预测 3D 裁剪区域的位置以及与 Vision Transformers (ViTs) 同时进行预训练,实现对几何形状和空间信息的捕捉,并且在五个公开的 3D 分割数据集上进行了大量实验证明了我们方法的有效性。