Mar, 2024

人脑自我监督学习动态功能连接的联合嵌入式掩模自编码器

PDF
TL;DR图神经网络在学习动态功能连接方面显示出潜力，但是在训练时获取大量标记的临床数据往往资源密集，使实际应用困难。因此，借助无标签数据在标记稀缺环境中进行表征学习变得至关重要。本文介绍了一种空时联合嵌入掩码自编码器（ST-JEMA），它借鉴了计算机视觉中的联合嵌入预测架构（JEPA），并对动态图进行重构，以实现考虑时间视角的更高级语义表示的学习。利用大规模的 UK Biobank 数据集进行自监督学习，ST-JEMA 在动态功能连接中显示出卓越的表示学习性能，证明了在预测表型和精神诊断方面优于先前方法的优越性，并且对缺失数据场景下的时间重构的有效性。这些发现突出了我们的方法作为一种强大的用于利用标记稀缺 fMRI 数据的表示学习方法的潜力。
graph neural networksdynamic functional connectivityunlabeled datarepresentation learningspatio-temporal joint embedding masked autoencoder
发现论文，激发创造
  • 联合嵌入预测架构的图级表示学习

    Graph-JEPA 是首个针对图领域提出的 Joint-Embedding Predictive Architectures (JEPAs) 模型，通过掩码建模学习不同子图的嵌入表示，并且采用预测编码子图在二维平面上单位双曲线上坐标的替代训练目标，验证结果表明 Graph-JEPA 能够学习具有表达力并在图分类和回归问题中具有竞争力的表示。

    Sep, 2023

  • S-JEPA：基于动态空间注意力的无缝跨数据集迁移

    通过研究使用联合嵌入预测架构 (JEPAs) 在脑电信号处理中实现无缝跨数据集迁移的挑战，本文提供了一项探索性研究。我们在一个包含 54 个受试者的数据集上进行了研究，并通过三个不同的脑 - 机接口范式 (运动想象、ERP 和 SSVEP) 评估了模型的下游性能。研究结果初步证明了 JEPAs 在脑电信号编码中的潜力，并强调了空间滤波在精确下游分类中的重要性，同时揭示了预训练示例长度对下游性能的影响但掩蔽大小不影响。

    Mar, 2024

  • DMT-JEPA：用于联合嵌入预测结构的判别性掩码目标

    我们介绍了一种新的基于 JEPA 的 masked modeling 目标 DMT-JEPA，通过计算特征相似性和使用轻量级交叉注意力头，将语义相似的邻域图像作为目标来生成具有辨别力的潜在目标，从而弥补了 JEPA 在理解局部语义方面的不足。

    May, 2024

  • BrainMAE: 脑信号的区域感知自监督学习框架

    利用功能磁共振成像 (fMRI) 和深度学习方法，我们提出一种名为 BrainMAE 的大脑掩码自编码器，能够从 fMRI 时间序列数据中学习表示，捕捉大脑活动的丰富时间动态并对数据中固有的噪声具有强大的鲁棒性，并在四个不同的下游任务中显著优于传统方法。

    Jun, 2024

  • 联合嵌入预测架构的图像自监督学习

    该研究论文使用了无需手工制作的数据增强方法来学习高度语义化的图像表示，引入了 I-JEPA 框架，通过从单个上下文块中预测同一图像中的各种目标块的表示来实现自我监督学习。实验结果表明，与 Vision Transformers 相结合，I-JEPA 具有高度的可扩展性和强大的下游性能。

    Jan, 2023

  • SkeletonMAE：基于图的骨架序列预训练掩蔽自编码器

    本文提出了一种高效的骨架序列学习框架，名为 Skeleton Sequence Learning（SSL）。通过将骨架关节序列嵌入图卷积网络（GCN）并基于先验人体拓扑知识重构遮蔽骨架关节和边，我们构建了一个不对称的基于图的编码器 - 解码器预训练架构，命名为 SkeletonMAE，然后将预训练的 SkeletonMAE 编码器与时空表示学习（STRL）模块集成到 SSL 框架中。广泛的实验结果表明，我们的 SSL 在不同数据集上具有良好的泛化能力，在 FineGym、Diving48、NTU 60 和 NTU 120 数据集上优于最先进的自监督骨骼动作识别方法，同时与某些完全监督方法具有可比较的性能。

    Jul, 2023

  • A-JEPA：联合嵌入预测架构能够聆听

    本文提出了一种基于掩模建模原则将视觉模型成功应用于音频的方法，通过在潜在空间中进行预测。我们引入了基于音频的联合嵌入预测架构（A-JEPA），这是一种简单的自监督学习方法，通过上下文编码器对可见音频频谱图块进行编码，并预测在精心设计的位置上采样的区域的表示。在多个音频和语音分类任务上，A-JEPA 在结构上采用了 Vision Transformers，我们发现它具有极强的可扩展性，并创造了新的最先进性能，超过了使用外部监督预训练的其他最新模型。

    Nov, 2023

  • GiGaMAE: 通过协同潜在空间重建实现可泛化的图掩码自编码器

    我们提出了一种名为 GiGaMAE 的新型图掩蔽自编码器框架，通过协同重构信息化和综合的潜在嵌入，从而解决了当前图数据上遇到的推理能力不强的问题。通过将图拓扑和属性信息包含在嵌入中，作为重构目标，我们的模型能够捕捉到更广义和综合的知识，并引入基于互信息的重构损失，使得能够有效重构多个目标，实验结果表明 GiGaMAE 在多个基准测试中表现优于现有基线模型。

    Aug, 2023

  • 稳健掩码图自编码器

    本文提出了一种新的自监督图形预训练方法 RARE，它在高阶潜在特征空间中进一步掩蔽和重构节点样本以提高推断掩蔽数据的确定性和自监督机制的可靠性，并采用的联合掩蔽 - 重构策略可以在潜在特征和原始数据空间中产生改进的稳定性和性能，在 17 个数据集上的大量实验中验证了 RARE 的有效性和鲁棒性。

    Apr, 2023

  • 自监督视觉表示学习的堆叠联合嵌入架构

    本文介绍了使用堆叠式联合嵌入架构（JEA）来学习高度可分离的语义层次表示的方法，从而产生表现出更具独特的语义概念的表示空间，证明了其在语义分类上的有效性。

    May, 2023