ICMLJul, 2023

临床时间序列的序列多维自监督学习

PDF
TL;DR自我监督学习在临床时间序列数据中的应用引起了广泛关注，本文提出了一种新的自我监督学习方法 —— 顺序多维自我监督学习 (Sequential Multi-Dimensional SSL)，在序列的整体和个体高维数据点级别上应用自我监督损失以更好地捕捉两个尺度上的信息。实验证明，使用本方法进行预训练并在后续任务中微调可以提高性能，并在不同自我监督损失函数中取得改进。
self-supervised learningclinical time series datassl methodsmultimodal time seriessequential multi-dimensional ssl
发现论文，激发创造
  • 时间序列的自监督学习：对比或生成？

    自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

    Mar, 2024

  • 时序分析的自监督学习：分类、进展和前景

    本文综合评估了当前时序数据自监督学习方法的状况，并提供了相应的分类法，同时总结了常用数据集且给出了未来时序分析自监督学习的方向。

    Jun, 2023

  • 健康时间序列的多模态自监督学习中的潜变量屏蔽

    我们引入了一种名为 Cross-modal SSL (CroSSL) 的方法，该方法在处理健康数据中的多模态学习中通过遮蔽中间嵌入和使用跨模态聚合器进行全局嵌入来实现缺失模态的处理和端到端学习，不需要预处理或耗时的负样本抽样，并在多种多模态时间序列基准测试中获得优于先前的 SSL 技术和有限标注数据的性能。

    Jul, 2023

  • 使用自监督学习的多模态多导联心电图心律失常分类

    本论文提出了基于自监督学习技术的多模态心电图分类方法，利用单模态 ECG 的时间序列和频谱信息，以及 SSL-pre-stream 任务和 down-stream 任务结合的方式实现。在评估这种方法的有效性时，使用 12 导联 PhysioNet 2020 数据集进行了十折交叉验证。

    Sep, 2022

  • 基于伪三维变换的跨维度医学自监督表示学习

    提出了一种基于伪 3D 转换的跨维度自监督学习框架（CDSSL-P3D），该框架可以利用 2D 和 3D 数据进行联合预训练，实现 3D 医学图像分析的跨维度自监督学习。在 13 个下游任务上进行了广泛的实验，结果表明我们的 CDSSL-P3D 表现出色，优于其他先进的自监督学习方法。

    Jun, 2024

  • 克服自监督对比学习在医学图像分割中的尺寸坍塌问题

    本文研究将对比学习应用于医学图像分析领域，发现在医学图像上应用最先进的对比学习方法 MoCo v2 存在维度坍缩问题，并提出了局部特征学习和特征去相关两项关键贡献，实验证明这两个贡献显著提升了模型在医学分割任务的性能。本研究突显了将自监督学习技术有效适应医学图像任务特征的重要性。

    Feb, 2024

  • 有限标注医学图像分割的全局和局部特征的对比学习

    本文介绍了一种利用自监督学习和对比学习实现的影像分割技术，该技术可以在大量没有标注数据的情况下学习，并且在三个磁共振成像数据集上验证了其有效性。

    Jun, 2020

  • 基于主题的非对比自监督学习用于 ECG 信号处理

    介绍了一种新的自监督学习方法和使用 transformer blocks 的模型，能够提取 ECG 信号并捕获不同的睡眠阶段和不同心律失常。

    May, 2023

  • 医学图像分割的自我监督对齐学习

    最近，自监督学习方法已被用于对二维和三维医学图像的分割模型进行预训练。本文提出了一种新的自监督对齐学习框架来预训练医学图像分割的神经网络，其中包括了一个全新的局部对齐损失和全局位置损失。实验结果表明，该对齐学习方法在有限标注的 CT 和 MRI 数据集上与现有的自监督预训练方法具有竞争力。

    Jun, 2024

  • 在线临床时间序列多模态对比学习

    利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

    Mar, 2024