本文提出两种新方法对影像数据进行时间和形态表型效应研究并将其验证于2D癌细胞培养物中以分析药物效果。通过使用1百万张带有多种增强技术和多个裁剪的图像数据进行卷积自编码器的训练，将其作为特征提取器并通过距离分析和DTW动态时间规整应用于31种药物的时间模式聚类。使用对抗/正则化设置改善31种药物的分类并可视化图像区域，提高了平均8％的排名和发现了一些形态特征的重要性图。作者在文中提供了这一特征提取器和权重以促进生物学中的迁移学习应用，并讨论了其他预训练模型的实用性以及该方法对其他类型的生物医学数据的适用性。

Mar, 2022

本文提出了一种名为 Interventional Style Transfer 的方法，是针对在计算机视觉系统的实际应用过程中，包括在生物医学研究的发现过程中，需要具有一种对上下文干扰具有不变性及对新数据具有普遍适用性的因果表示的问题，在两个新的单细胞荧光显微镜数据集的内部复制结构中进行了验证，证明了该方法可以显著地提高OOD的泛化能力。

Jun, 2023

本文提出了一种新颖的方法，利用领域变化来学习表现出有条件对不想要的多变性或干扰的不变表示。

Jul, 2023

评估了用于高内容荧光显微数据集中的图像恢复的最新修复方法，并提出了一种新的保留表型度量设计策略以控制修复质量。

Jul, 2023

通过高内容显微镜筛选从细胞表型中推断生物关系在生物研究中提供了重要的机遇和挑战。该研究探讨了在更大数据集上训练更大模型时，弱监督和自监督深度学习方法的可扩展性。结果显示，基于CNN和ViT的掩蔽自编码器在表型推断方面明显优于弱监督模型。在我们的尺度上限，通过来自9500万显微镜图像的35亿个独特裁剪样本训练的ViT-L/8相对于从公共数据库中整理的已知生物关系的最佳弱监督模型的相对改善率达到了28%。

Sep, 2023

形态学分析是表型药物发现中的一项有价值的工具。最近的发展使得高通量自动成像得以捕捉单细胞水平上细胞或生物体对干扰的广泛形态学特征。机器学习和深度学习在图像分析方面的显著进展有助于对大规模高内容图像进行高通量分析，从而推动了复合物的作用机制研究、药物重用、对细胞形态动力学的表征以及对新型治疗药物的发展。本综述全面概述最近形态学分析领域的进展，总结形态学分析流程、介绍多种基于特征工程和深度学习的分析策略，并引入公开可获取的基准数据集。我们特别强调深度学习在此流程中的应用，包括细胞分割、图像表征学习和多模态学习。此外，我们还阐述形态学分析在表型药物发现中的应用，并强调了该领域面临的挑战和机遇。

Dec, 2023

在生物研究中，将显微镜图像分析成特征仍然是一个重大挑战。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）在使用越来越大的模型和显微镜数据集进行训练时的伸缩性能。我们的研究结果表明，基于ViT的MAEs在多项任务上优于弱监督分类器，在从公共数据库中获取的已知生物关系的召回中相对改进了11.5%。此外，我们还开发了一种新的通道无关的MAE架构（CA-MAE），可以在推理时输入具有不同通道数和顺序的图像。我们证明了CA-MAEs通过在具有不同实验条件和通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估的方法有效地泛化。我们的发现促使继续在显微镜数据上进行自监督学习的规模扩展研究，以创建能够催化药物发现等领域进展的细胞生物学强大基础模型。

Apr, 2024

光学混合筛选（OPS）结合自动显微镜和遗传紊乱以可扩展和低成本的方式系统地研究基因功能。我们采用样式转换方法从通过OPS获得的遗传扰动细胞图像中学习基因水平的特征表示。我们的方法在根据基因功能对基因表示进行聚类中优于广泛使用的工程特征，证明其用于发现潜在生物关系的实用性。该方法为探索基因在健康与疾病中的作用提供了有希望的替代方法。

Jun, 2024

通过介绍一个专家精选的基准测试集μ-Bench，评估了最新的生物医学、病理学和通用视觉语言模型在各种生物学图像识别任务上的表现，发现当前模型在所有类别上都存在困难，甚至在识别显微镜模态等基本任务上表现不佳。在特定显微镜领域进行微调可能导致灾难性遗忘，影响基础模型中编码的先前生物医学知识。通过在微调和预训练模型之间进行权重插值，可以解决忘记问题，并提高生物医学任务的整体性能。μ-Bench基准测试集已获得许可证，以加快微观成像基础模型的研究和开发。

Jul, 2024

通过系统调查在高通量筛选中，从肺、卵巢和乳腺三种类型细胞以及有毒和无毒条件得到的数据是否能够训练虚拟染色模型在分布转变、未知细胞类型和表型的情况下进行泛化，研究结果表明训练非毒性样本上的虚拟核和细胞模型不仅适用于有毒条件的样本，而且在所有评估层面上的性能相对于有毒条件的样本训练有所提高。

Jul, 2024