CVPRApr, 2024

显微镜遮蔽自编码器是可扩展的细胞生物学学习模型

PDF
TL;DR在生物研究中，将显微镜图像分析成特征仍然是一个重大挑战。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）在使用越来越大的模型和显微镜数据集进行训练时的伸缩性能。我们的研究结果表明，基于 ViT 的 MAEs 在多项任务上优于弱监督分类器，在从公共数据库中获取的已知生物关系的召回中相对改进了 11.5%。此外，我们还开发了一种新的通道无关的 MAE 架构（CA-MAE），可以在推理时输入具有不同通道数和顺序的图像。我们证明了 CA-MAEs 通过在具有不同实验条件和通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估的方法有效地泛化。我们的发现促使继续在显微镜数据上进行自监督学习的规模扩展研究，以创建能够催化药物发现等领域进展的细胞生物学强大基础模型。
featurizing microscopy imagesscaling propertiesweakly supervised classifiersself-supervised masked autoencodersmicroscopy datasets
发现论文，激发创造
  • 掩蔽自编码器是可扩展的细胞形态学学习器

    通过高内容显微镜筛选从细胞表型中推断生物关系在生物研究中提供了重要的机遇和挑战。该研究探讨了在更大数据集上训练更大模型时，弱监督和自监督深度学习方法的可扩展性。结果显示，基于 CNN 和 ViT 的掩蔽自编码器在表型推断方面明显优于弱监督模型。在我们的尺度上限，通过来自 9500 万显微镜图像的 35 亿个独特裁剪样本训练的 ViT-L/8 相对于从公共数据库中整理的已知生物关系的最佳弱监督模型的相对改善率达到了 28%。

    Sep, 2023

  • 遮蔽自编码器是可扩展的视觉学习器

    本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

    Nov, 2021

  • 基于注意力引导的蒙版自动编码器用于学习图像表示

    利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

    Feb, 2024

  • 如何理解掩蔽自编码器

    本文第一次提出了一种统一的理论框架，用数学方法解释 MAE 的强大表现，说明其基于补丁的注意力方法，并使用操作符理论阐明了 MAE 成功的主要原因。

    Feb, 2022

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023

  • 医学监督下的自编码器：为医学图像分类制定更好的遮盖策略和高效的微调计划

    本文提出了一种 Medical Supervised Masked Autoencoder (MSMAE) 模型来解决传统 Masked Autoencoder (MAE) 模型在医学图像分类和分割中存在的问题，通过监督训练精确地遮蔽医学图像以及在微调阶段通过注意力机制指导遮蔽医学图像，显著提高了 MSMAE 模型的计算效率和医学诊断质量。

    May, 2023

  • 掩码自编码器是强大的神经架构搜索学习者

    提出了一种基于遮蔽自编码器的新型神经架构搜索（NAS）框架，该框架在搜索过程中不需要标记数据。通过用图像重构任务替代监督学习目标，我们的方法能够在不损害性能和泛化能力的情况下，有效地发现网络架构。此外，我们通过引入多尺度解码器来解决在无监督范式中广泛使用的 Differentiable Architecture Search（DARTS）方法遇到的性能崩溃问题。通过在不同的搜索空间和数据集上进行大量实验证明了所提方法的有效性和鲁棒性，并提供了其优于基线方法的经验证据。

    Nov, 2023

  • 掩码自编码器在视觉和其他领域的自监督学习中的调查

    本文是针对掩膜自编码器在自监督学习中扮演的角色所做的综述，着重于介绍其在视觉模式识别领域中的应用，包括历史发展、最新进展以及对各种应用的影响。

    Jul, 2022

  • 表面遮罩自编码器：供大脑皮层成像数据的自监督

    本研究通过使用自监督学习以及具有表面网格的视觉转换器架构，构建了模型以模拟皮层结构，进而实现对皮层表面的学习。通过在较大数据集上进行预训练，可以获得强大的表示能力，用于在数据少的情景下进行微调，而在皮层表型回归任务中，预训练可以带来 26% 的性能提升和 80% 的更快收敛速度。

    Aug, 2023

  • 基于遮挡自编码器的视频无监督预训练技术

    本文研究了使用 VideoMAE 进行自主监督视频预训练 (SSVP) 的数据高效性问题，并通过适当的视频屏蔽达到了良好的表现，进而证明数据质量对 SSVP 更加重要。

    Mar, 2022