Oct, 2023

使用掩蔽型自编码器进行心电图分析的无监督预训练

PDF
TL;DR基于掩蔽自动编码器（MAE）的无监督预训练技术及心电图 (ECG) 分析的完整架构，用于利用未标记数据的任务特定微调，对于心电图心律失常分类任务，所提出的方法在 MITDB 数据集上取得了 94.39% 的准确率，相较于全监督方法，在分类以前未见数据上体现出更好的性能。
发现论文，激发创造
  • 基于注意力引导的蒙版自动编码器用于学习图像表示

    利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

    Feb, 2024

  • 医学监督下的自编码器：为医学图像分类制定更好的遮盖策略和高效的微调计划

    本文提出了一种 Medical Supervised Masked Autoencoder (MSMAE) 模型来解决传统 Masked Autoencoder (MAE) 模型在医学图像分类和分割中存在的问题，通过监督训练精确地遮蔽医学图像以及在微调阶段通过注意力机制指导遮蔽医学图像，显著提高了 MSMAE 模型的计算效率和医学诊断质量。

    May, 2023

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023

  • MTSMAE: 基于掩码的自编码器用于多元时间序列预测

    该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

    Oct, 2022

  • 掩码变压器用于心电图分类

    本研究提出了一种名为 MTECG 的有用的掩模 Transformer 方法，将掩模自编码器应用于心电图时间序列，实验结果在心电图分类中表现显著优于最新的算法。

    Aug, 2023

  • 遮蔽自编码器是可扩展的视觉学习器

    本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

    Nov, 2021

  • 掩码自编码器在视觉和其他领域的自监督学习中的调查

    本文是针对掩膜自编码器在自监督学习中扮演的角色所做的综述，着重于介绍其在视觉模式识别领域中的应用，包括历史发展、最新进展以及对各种应用的影响。

    Jul, 2022

  • 基于混合簇条件专家的任务定制化遮蔽自编码器

    提出了一种新的基于混合的聚类条件专家（MoCE）的 MAE 预训练范式，为不同的下游任务提供定制化的预训练模型，通过使用聚类条件门将每个专家仅与语义相关的图像进行训练，从而克服了 MAE 可扩展性中的负迁移问题。

    Feb, 2024

  • 敌对掩蔽预训练心电图数据提高模型泛化能力用于数据稀缺任务

    本研究提出了一种采用敌对掩蔽技术增强医学数据集的自监督学习方法，该方法针对 12 导联心电图数据生成掩蔽增强，相比于传统增强方法在少样本数据集上表现更优，证明了该方法的泛化性。

    Nov, 2022

  • 全局 - 局部蒙版自编码器在体积医学图像分割中的应用

    提出了一种名为全局局部遮挡自编码器 (GL-MAE) 的简单而有效的自监督预训练策略，它可以重构遮挡的全局和局部体积， 并通过全局引导一致性学习和局部到全局的对应加强和稳定掩蔽体积的表示学习。结果表明，在各种体积医学图像细分任务上，与其他自监督算法相比，该方法具有卓越的表现，即使注释很少也是如此。

    Jun, 2023