在生物研究中，将显微镜图像分析成特征仍然是一个重大挑战。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）在使用越来越大的模型和显微镜数据集进行训练时的伸缩性能。我们的研究结果表明，基于 ViT 的 MAEs 在多项任务上优于弱监督分类器，在从公共数据库中获取的已知生物关系的召回中相对改进了 11.5%。此外，我们还开发了一种新的通道无关的 MAE 架构（CA-MAE），可以在推理时输入具有不同通道数和顺序的图像。我们证明了 CA-MAEs 通过在具有不同实验条件和通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估的方法有效地泛化。我们的发现促使继续在显微镜数据上进行自监督学习的规模扩展研究，以创建能够催化药物发现等领域进展的细胞生物学强大基础模型。

Apr, 2024

本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

Nov, 2021

本研究通过使用自监督学习以及具有表面网格的视觉转换器架构，构建了模型以模拟皮层结构，进而实现对皮层表面的学习。通过在较大数据集上进行预训练，可以获得强大的表示能力，用于在数据少的情景下进行微调，而在皮层表型回归任务中，预训练可以带来 26% 的性能提升和 80% 的更快收敛速度。

Aug, 2023

如果同时扩大数据规模、模型大小和图像分辨率，通过自监督学习可以实现人类级的视觉目标识别能力，而且使用基于掩码自编码器的高效自监督学习算法，可以在低成本的学术预算下进行扩展实验。

Aug, 2023

本文介绍了一种基于自编码器预训练的视觉 Transformer 模型（ViT）在医学图像分类任务上的性能优化方法，并探讨了策略和技术详细研究。

Oct, 2022

本文提出了一种使用深度学习自编码器的无监督学习模型来检测和分类基因表达相似的显微镜图像区域，该模型通过平衡潜在层的长度和复杂性来进行优化，模型的性能通过适应均方误差度量值进行验证，并与专家的评估进行比较。

Apr, 2023

本文是针对掩膜自编码器在自监督学习中扮演的角色所做的综述，着重于介绍其在视觉模式识别领域中的应用，包括历史发展、最新进展以及对各种应用的影响。

Jul, 2022

我们提出了 Masked Capsule Autoencoders（MCAE），这是第一个利用自监督方式进行预训练的 Capsule Network。通过在监督训练之前使用掩码图像建模作为预训练阶段，我们的 MCAE 模型解决了 Capsule Network 在处理更复杂数据时的学习效果不佳的问题，从而取得了一系列实验证明自监督预训练对于 Capsule Networks 同样有效，为神经网络领域的进一步发展铺平了道路。

Mar, 2024

本文介绍使用 ConvMAE 框架对 Vision Transformers 进行特征预训练和 Masked Auto-Encoder 技术的引入，提高了其在各种视觉任务中的表现。而使用 masked convolution 和直接监督卷积层的 features 等方法，可以在保证计算效率的同时提高了分类和检测的准确率。

May, 2022

这篇论文介绍了一种名为 VideoMAC 的新方法，结合了对视频帧进行对称遮罩的视频自编码器和资源友好的 ConvNets，以及一种称为 MVM 的简单而有效的遮罩视频建模方法，通过在下游任务中的表现超过了基于 ViT 的方法。

Feb, 2024