Sep, 2023

频率感知的多模态预训练生物信号掩码自编码器

PDF
TL;DR利用多模式生物信号的多模式信息对人的身体和心理状态进行全面建模具有重要意义，但多模式生物信号往往在预训练和推断数据集之间存在明显的分布变化，我们提出了一种频率感知的掩码自编码器（bioFAME），它在频率空间中学习参数化生物信号的表示，并利用固定大小的基于傅里叶的操作符进行全局的分词混合，通过在潜在空间中进行掩码自编码以维持每个输入通道中的频率分量，实现了在预训练过程中对多模态信息的有效利用，并且可以在测试阶段无缝适应不同任务和模态，无论其输入长短和采样率如何，我们在一系列单模态时间序列的迁移实验中评估了我们的方法，在分类准确度上相较于之前的最先进方法平均提升了 5.5％，此外，我们还证明了我们的架构在模态不匹配的情况下具有稳健性，包括未预测的模态丢失或替换，证明了它在实际应用中的实用性。
multimodal biosignalsdistributional shiftspretrainingfrequency-aware masked autoencodermodality mismatch
发现论文，激发创造
  • FreMAE: 傅里叶变换融合掩模自编码器用于医疗图像分割

    本文提出了一种基于 MIM 的自监督预训练框架，使用傅里叶变换来整合全局和局部信息，进一步加入多阶段监督以指导预训练阶段的表示学习并在医学图像分割任务中获得了比之前最先进的 MIM 方法更好的性能。

    Apr, 2023

  • 自监督视觉预训练的掩码频率建模

    本文提出了一种基于频域的自监督预训练的方法，称作 Masked Frequency Modeling（MFM），通过在图像的频率分量上进行遮蔽，并预测其丢失的频率信息来学习图像的表示，实验证明该方法在图像分类、语义分割以及鲁棒性测试方面的性能优于其他最近的基于遮蔽的图像建模方法。此外，本文还全面调查了传统图像恢复任务对于从频域角度进行表示学习的有效性，并揭示了它们与 MFM 方法之间的有趣关系。

    Jun, 2022

  • MultiMAE: 多模态多任务掩蔽自编码器

    提出了一种称为 MultiMAE 的预训练策略，通过掩蔽解决了网络输入多样性和预测任务多样性的问题，从而实现可靠的跨模态与任务预测编码和转移学习。

    Apr, 2022

  • 多模态掩模自编码器学习可转移表示

    本论文提出一种基于 Masked Token 预测的大型多模式模型 (M3AE)，能在不引入偏好于数据增强的对比学习目标的情况下，学习出适用于下游任务的可传递表示，并证明了高文本遮盖率下训练能够显著提升模型性能。M3AE 能够在配对和非配对的图像 - 文本数据上训练，具有可扩展性和灵活性。

    May, 2022

  • 频率引魔鬼：双倍格局自编码器用于自监督视觉预训练

    本研究提出一种基于频率域的 MASK 图像建模方法，称之为 GE2-AE，用于视觉预训练，通过该方法可以学习到更加健壮的非标记视觉表示。

    Apr, 2022

  • 医学视觉与语言预训练的多模态掩码自编码器

    提出了一种基于 M$^3$AE 的自监督学习模型，通过随机遮盖图像和文本中的像素和标记来学习跨模态领域知识的医学视觉语言模型，并在三个任务上实现了最先进水平的结果。

    Sep, 2022

  • 自适应频率泛锐化与专家混合

    Pan-sharpening research has not explored the potential solution in the frequency domain. This paper proposes the Frequency Adaptive Mixture of Experts (FAME) learning framework, which effectively reconstructs low-frequency and high-frequency information and adapts to remote sensing images with content variations, outperforming other state-of-the-art methods.

    Jan, 2024

  • Fus-MAE：一种基于交叉注意力的遥感掩码自编码器数据融合方法

    Fus-MAE is a self-supervised learning framework based on masked autoencoders that performs data fusion between synthetic aperture radar and multispectral optical data, effectively competing with contrastive learning strategies in SAR-optical data fusion.

    Jan, 2024

  • BIOT：野外生物信号跨数据学习

    本文提出了 Biosignal Transformer 模型，通过将不同的生物信号令牌化成一致的 “生物信号句子”，添加通道嵌入和相对位置嵌入等技术，实现跨数据集学习，适用于不同数据格式的多个生物信号学习，并在 EEG、ECG 和人类活动感官信号上进行了综合评估。

    May, 2023

  • 频率掩蔽用于通用深度伪造检测

    通过探索遮蔽图像建模，我们提出了一种新颖的频率域深伪造图像检测方法，具有优异的泛化能力和显著的性能提升。

    Jan, 2024