Nov, 2023

ChAda-ViT：异质显微图像联合表示学习的通道自适应注意力

HTML
PDF
TL;DR提出了ChAda-ViT，一种新颖的通道自适应视觉Transformer体系结构，应用于具有任意数量、顺序和类型通道的图像，并在自我监督训练中训练，优于现有方法，在几个具有生物学意义的下游任务中表现出色，并能够将各种图像和实验模式嵌入统一的生物图像表示中，有望促进跨学科研究，并为生物图像分析中深度学习的更好应用铺平道路。
发现论文，激发创造
  • DaViT: 双注意力视觉Transformer

    本文提出Dual Attention Vision Transformers (DaViT)网络，该网络通过自我注意机制能够捕获全局信息，同时保持计算效率，并在图片分类任务上取得了最先进的表现。

    Apr, 2022

  • 可解释的深度输入通道混合对高内容成像的学习通道重要性

    利用多光谱信息解读细胞生物学的某个方面的一种新方法，介绍了DCMIX，一种轻量级、可扩展且端到端可训练的混合层，能够在保留基于深度学习的方法优点的同时学习到与生物相关的通道重要性，通过MNIST和RXRX1数据集的大量实验验证了DCMIX的有效性。

    Aug, 2023

  • 通道视觉变换器：一幅图像值C x 16 x 16个词

    本文介绍了一种名为ChannelViT的模型，通过引入Hierarchical Channel Sampling技术对ViT进行改进，以增强其在多通道图像领域中的应用能力，并证明了其在分类任务上的性能优于ViT，即使在测试期间只使用部分输入通道，ChannelViT仍能良好地推广。同时，通过实验证明，Hierarchical Channel Sampling作为一种简单直接的技术，可以作为ViT训练的有效正则化器，使得ChannelViT能够在稀疏传感器条件下，在有限访问所有通道的情况下有效推广，突出了其在稀疏数据情况下的潜力。

    Sep, 2023

  • CHAMMI：显微成像中用于通道自适应模型的基准

    本文提出了一个用于研究显微成像中通道自适应模型的基准测试，其中包括多通道单细胞图像数据集和生物相关评估框架。我们通过比较现有技术的性能，发现通道自适应模型在跨领域任务中具有更好的泛化能力和计算效率。同时，我们贡献了一个精选数据集和评估接口，以促进未来研究和应用中的客观比较。

    Oct, 2023

  • OrthoNets：正交通道注意力网络

    通过使用正交滤波器实现的一个通道注意机制，名为OrthoNet，在Birds、MS-COCO和Places356等数据集上显示出卓越的性能，与FcaNet和其他注意机制相比具有竞争力，进一步研究了网络中的位置和通道分组等实现通道注意的一般原则。

    Nov, 2023

  • 基于多金字塔变换器和对比学习的显微镜观察模糊去卷积的统一框架

    通过多金字塔变换器（MPT）和扩展频率对比规则化（EFCR）的统一框架，解决了显微镜去模糊中的两个突出问题：更长的注意跨度和特征不足。该框架实现了多个数据集上的最新性能，并通过下游任务验证验证了其优越性能。

    Mar, 2024

  • ACC-ViT: 视觉Transformer中空洞卷积的回归

    通过从视觉感知中汲取灵感进行注意机制创新，Transformer已经成为最先进的视觉架构。本文引入了一种融合区域和稀疏注意力的Atrous Attention，它能够自适应地整合局部和全局信息，并保持层次关系，提出了一种通用的混合式视觉Transformer骨干网络ACC-ViT，适用于标准视觉任务和移动规模版本，适用于具有小数据集的特定应用领域。

    Mar, 2024

  • 显微镜遮蔽自编码器是可扩展的细胞生物学学习模型

    在生物研究中，将显微镜图像分析成特征仍然是一个重大挑战。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）在使用越来越大的模型和显微镜数据集进行训练时的伸缩性能。我们的研究结果表明，基于ViT的MAEs在多项任务上优于弱监督分类器，在从公共数据库中获取的已知生物关系的召回中相对改进了11.5%。此外，我们还开发了一种新的通道无关的MAE架构（CA-MAE），可以在推理时输入具有不同通道数和顺序的图像。我们证明了CA-MAEs通过在具有不同实验条件和通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估的方法有效地泛化。我们的发现促使继续在显微镜数据上进行自监督学习的规模扩展研究，以创建能够催化药物发现等领域进展的细胞生物学强大基础模型。

    Apr, 2024

  • 增强特征多样性提升通道自适应视觉变换器

    通过使用一种新的通道采样策略来增强MCI-ViT模型的特征多样性，DiChaViT方法在卫星和细胞显微图像数据集上实验证明其超过现有技术1.5-5.0%的性能提升。

    May, 2024

  • μ-Bench: 显微镜理解的视觉-语言基准

    通过介绍一个专家精选的基准测试集μ-Bench，评估了最新的生物医学、病理学和通用视觉语言模型在各种生物学图像识别任务上的表现，发现当前模型在所有类别上都存在困难，甚至在识别显微镜模态等基本任务上表现不佳。在特定显微镜领域进行微调可能导致灾难性遗忘，影响基础模型中编码的先前生物医学知识。通过在微调和预训练模型之间进行权重插值，可以解决忘记问题，并提高生物医学任务的整体性能。μ-Bench基准测试集已获得许可证，以加快微观成像基础模型的研究和开发。

    Jul, 2024