Nov, 2023

持续自监督学习：通向通用的多模态医学数据表征学习

PDF
TL;DR多模态医学数据的持续自监督学习方法 MedCoSS 具有卓越的泛化能力和可扩展性。
self-supervised learningmedical image analysismulti-modal datacontinual learningmedcoss
发现论文，激发创造
  • 医学图像分析的多模态自监督学习

    该论文提出了一种利用多个成像模式的新型自监督方法，设计了一个多模式拼图任务以促进多种图像模式的特征表征，提出了一种利用跨模态生成技术进行多模态数据增强的方法，实验表明该方法能够提高数据效率和语义表征，广泛应用于四种不同的下游任务，并取得了领先的成果。

    Dec, 2019

  • 自我监督多任务学习的多模态情感分析中学习特定于感知模式的表示

    本文设计了一个基于自监督学习策略的标签生成模块，通过联合训练多模态和单模态任务来分别学习一致性和差异，采用权重调整策略来平衡不同子任务的学习进度，验证了自动生成的单模态监督标签的可靠性和稳定性，超过了现有的最先进方法和人工注释的单模态标签。

    Feb, 2021

  • 自我监督训练增强在线连续学习

    本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

    Mar, 2021

  • 自监督多模态学习：综述

    本综述论文介绍了自监督多模态学习（SSML）的现状和最新进展，对其目标函数、数据对准和模型架构三个方面进行分类，讨论了训练期间的多模态输入数据配对和对准策略，并回顾了用于图像文本和多模态视频的顶尖模型的具体表现及其在医疗保健、遥感和机器翻译等领域的实际应用。

    Mar, 2023

  • 多模态知识发现和预训练的统一连续学习框架

    该研究提出了将多模态预训练和知识发现统一到连续学习框架中的方法，以维护知识图作为基础，同时强化模型更新的外部知识引导作用在跨模态链接识别和预训练模型两方面取得了有效结果。

    Jun, 2022

  • 自监督学习方法综述：提高多模态表示学习的有效性

    本文总结了最佳自监督学习方法在多模态学习的应用，包括跨模态生成、跨模态预训练、循环翻译和自监督统一模态标签生成等。

    Oct, 2022

  • 联合自监督和有监督对比学习用于多模态 MRI 数据：走向预测异常神经发育

    利用多模态成像、深度学习和对比学习方法，从多模态 MRI 数据中学习鲁棒的潜在特征表示，将异构特征投影到共享空间，整合不同模态和类似主体间的互补和类似信息，进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。

    Dec, 2023

  • 用于自监督学习的多模聚类网络：来自无标签视频

    本文提出了一个自监督训练框架，通过在训练管道中增加多模态聚类步骤以捕捉跨模态的语义相似性，进而学习一个共同的多模态嵌入空间，并证明其能在文本到视频检索和时间动作定位等两个具有挑战性的领域展示出四个不同数据集上的最新成果.

    Apr, 2021

  • 大型自监督模型推进医学影像分类

    本研究探讨了自监督学习作为医学图像分类的预训练策略的有效性，使用领域特定的无标签医学图像进行自监督学习，并引入一种新颖的多实例对比学习 (MICLe) 方法，为医学图像分析中的皮肤病和胸部 X 光分类任务提供了更为准确的预测。

    Jan, 2021

  • 交叉学习：跨模态自监督

    本文介绍了一种利用两种不同形式的信息进行自监督表示学习的方法。我们使用视频数据进行我们的方法，得到良好的性能，并证明我们的特征表示可以转移至其他任务。

    Nov, 2018