Oct, 2023

MTS-LOF: 医学时间序列表示学习的遮挡不变特征

PDF
TL;DR医学时间序列数据的表征学习的新框架 MTS-LOF 借鉴对比学习和掩蔽自编码器方法的优势，通过多掩蔽策略学习医学时间序列数据中的丰富上下文信息，并证明优于其他方法，可显著增强医疗应用的表征学习。同样，该研究对联合嵌入自监督学习和自编码器技术的集成进行了深入探讨，揭示了医疗数据中时间和结构依赖性之间的错综复杂关系。
medical time series representation learningmts-lofcontrastive learningmasked autoencoder (mae)healthcare applications
发现论文，激发创造
  • 多尺度多模态对比学习网络用于生物医学时间序列

    多模态生物医学时间序列数据的表示学习方法，利用对比学习迁移模态间的变化，并通过多尺度特征提取和交叉模态对比学习来提高鲁棒性，在四个生物医学应用中相较于现有模型有较大的性能提升。

    Dec, 2023

  • TS-MoCo: 基于 Momentum Contrast 的时序动量对自监督生理学表示学习

    本文提出了一种新的编码框架，它依赖于自监督学习来学习各种生理领域的多元时间序列的表示，从而解决有限可用性的标记生理数据通常防止在生物医学机器智能领域使用强大的监督深度学习模型的问题，并得出新方法可以学会区分特征被用于下游分类任务。

    Jun, 2023

  • L-MAE: 长纵向掩码自编码器中的时间和严重性感知编码，用于糖尿病视网膜病变进展预测

    本文提出基于自监督学习（SSL）的预训练策略，针对医学图像的非典型性，开发了一种基于 Transformer 的纵向遮蔽自编码器 (MAE)，研究了时间感知的位置嵌入和疾病进展感知的遮蔽策略，通过评估在糖尿病视网膜病变（DR）筛查数据集上的预训练权重，证明了这些扩展显著提高深度分类模型的预测能力。

    Mar, 2024

  • 临床时间序列的序列多维自监督学习

    自我监督学习在临床时间序列数据中的应用引起了广泛关注，本文提出了一种新的自我监督学习方法 —— 顺序多维自我监督学习 (Sequential Multi-Dimensional SSL)，在序列的整体和个体高维数据点级别上应用自我监督损失以更好地捕捉两个尺度上的信息。实验证明，使用本方法进行预训练并在后续任务中微调可以提高性能，并在不同自我监督损失函数中取得改进。

    Jul, 2023

  • 健康时间序列的多模态自监督学习中的潜变量屏蔽

    我们引入了一种名为 Cross-modal SSL (CroSSL) 的方法，该方法在处理健康数据中的多模态学习中通过遮蔽中间嵌入和使用跨模态聚合器进行全局嵌入来实现缺失模态的处理和端到端学习，不需要预处理或耗时的负样本抽样，并在多种多模态时间序列基准测试中获得优于先前的 SSL 技术和有限标注数据的性能。

    Jul, 2023

  • 克服自监督对比学习在医学图像分割中的尺寸坍塌问题

    本文研究将对比学习应用于医学图像分析领域，发现在医学图像上应用最先进的对比学习方法 MoCo v2 存在维度坍缩问题，并提出了局部特征学习和特征去相关两项关键贡献，实验证明这两个贡献显著提升了模型在医学分割任务的性能。本研究突显了将自监督学习技术有效适应医学图像任务特征的重要性。

    Feb, 2024

  • 遮蔽式 LoGoNet：医学领域快速精确的三维图像分析

    本研究介绍了一种名为 LoGoNet 的新型神经网络架构，通过自监督学习方法解决了现有机器学习图像处理方法在医学应用中的挑战，提高了医学影像分割的性能。

    Feb, 2024

  • 为每个任务提供所需的条件 —— 利用结构稀疏性进行个性化多任务学习

    通过引入层优化的多任务（LOMT）模型，利用结构化稀疏性来优化任务选择性特征，并提高多任务学习（MTL）框架的性能，将任务特定的解码器连接到经过策略性识别的层，实现网络的定制化架构，减少冗余，优化网络。

    Jun, 2024

  • MTSMAE: 基于掩码的自编码器用于多元时间序列预测

    该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

    Oct, 2022

  • DrasCLR: 一种用于三维医学图像学习疾病相关和解剖学特定特征的自监督框架

    本文提出了一个名为 DrasCLR 的新型自监督学习（SSL）框架，采用基于实例鉴别的 SSL 方法，通过两种特定于领域的对比学习策略，在 3D 医学成像中提取具有解析解剖学特定功能的特征，可用于不需要冠军数据来完成许多下游任务，比如肺部图像的预测和分割任务，包括病人存活预测任务和广泛且密集预测的肺气肿子类型检测，这可以大大减少注释精力，并且证明了在自监督学习框架中引入解剖上下文的重要性。

    Feb, 2023