自监督的医学图像数据可视化

Feb, 2024

Self-supervised Visualisation of Medical Image Datasets

Ifeoma Veronica Nwabufo, Jan Niklas Böhm, Philipp Berens, Dmitry Kobak

TL;DR通过自监督学习方法和数据增强，例如 SimCLR、BYOL 或 DINO，可以获得语义上有意义的图像数据集表示，并在有监督微调之前被广泛使用。最近的自监督学习方法 $t$-SimCNE 使用对比学习直接训练适用于可视化的 2D 表示。当应用于自然图像数据集时，$t$-SimCNE 产生具有语义上有意义的聚类的 2D 可视化。在本工作中，我们使用 $t$-SimCNE 来可视化医学图像数据集，包括皮肤病学、组织学和血液显微镜学的示例。我们发现，增加数据增强的集合以包括任意旋转改善了类别可分性的结果，与用于自然图像的数据增强相比。我们的 2D 表示显示出具有医学相关结构，并可用于辅助数据探索和注释，改进常见的数据可视化方法。

Abstract

self-supervised learning methods based on data augmentations, such as SimCLR, BYOL, or DINO, allow obtaining semantically meaningful representations of image datasets and are widely used prior to supervised fine-

self-supervised learning methods data augmentations 2d representation medical image datasets data exploration

发现论文，激发创造

对图像数据集进行对比学习无监督可视化

提出了一种基于对比学习和邻居嵌入的新方法，称为 t-SimCNE，用于无监督可视化图像数据，并在 CIFAR-10 和 CIFAR-100 数据集上展示了信息丰富的聚类结构和异常值。

Oct, 2022

数字病理学的自监督对比学习

本文介绍一种使用 SimCLR 方法进行自监督学习的无监督学习方法，该方法在数字病理学数据集上的预训练在多项下游任务中优于在 ImageNet 上预训练的网络，F1 平均分提高了 28% 以上。

Nov, 2020

大型自监督模型推进医学影像分类

本研究探讨了自监督学习作为医学图像分类的预训练策略的有效性，使用领域特定的无标签医学图像进行自监督学习，并引入一种新颖的多实例对比学习 (MICLe) 方法，为医学图像分析中的皮肤病和胸部 X 光分类任务提供了更为准确的预测。

Jan, 2021

半监督关系对比学习

本文介绍了一种基于半监督关系对比学习的皮肤病诊断方法，通过有效利用未标记图像进行预训练 / 精调并验证了其在不同标记数据数量下的有效性。

Apr, 2023

半监督和自监督学习在医学图像上的准确率与时间前沿

对医学图像分类应用进行的研究表明，使用未标记的数据可以提高分类器的性能，通过自监督学习和半监督学习的方法，本研究在医学图像领域设计了一个基准测试，发现 MixMatch、SimCLR 和 BYOL 方法是强有力的选择，并提供适用于新医学任务的设置以及进一步搜索的方法。

Jul, 2023

视觉表示对比学习的简单框架

SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

医学影像的 3D 自监督方法

本文提出了针对五种不同的自监督学习方法的三维版本，利用这些技术进行神经网络特征的学习，通过对三维图像的预处理，显著提高语义表示的精确性，从而在医学成像领域实现了数据效率、性能和收敛速度的提升，具有较高的竞争力和可扩展性。

Jun, 2020

医学图像半监督分割中的变换一致自组织模型

本文提出一种半监督方法用于医学图像分割。该方法包括深度学习、正则化、自举等关键技术，并在多个医学图像数据集上进行了验证和表现优于其他方法。

Feb, 2019

DeepSet SimCLR：用于改进病理学表示学习的自监督深度集合

本文旨在改进标准的 2D 自监督学习算法，通过对数据集的内在 3D 特性进行建模来解决在 3D 医疗数据中应用的计算资源问题，并且提出了两个改进版本，证明在各种下游任务中，这两个版本往往优于基准模型，同时也几乎不带来额外的开销，提高了医疗应用中这些方法的普及性。

Feb, 2024

自监督特征在医学图像分类任务中的可迁移性如何？

本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

Aug, 2021