May, 2023

自监督训练配对脑功能核磁共振数据的迁移学习应用于脑解码任务

PDF
TL;DR本文介绍了一种自监督预训练框架，用于基于功能性磁共振（fMRI）数据的变压器。作者在两种自监督任务上预训练模型，以教授模型人类听觉皮层在音乐听取期间的时间和空间动态。作者的预训练结果表明，多任务训练对 fMRI 数据具有协同效应。作者在监督 fMRI 分类任务上发现，微调预先训练的模型和训练额外的新模型都能够显著提高准确性，证明了预训练任务促进迁移学习的能力。
self-supervised pretrainingtransformersfunctional magnetic resonance imagingtransfer learningmusic listening
发现论文，激发创造
  • 基于顺序迁移学习的 fMRI 数据解码听到和想象中的音色

    使用顺序迁移学习框架的转换器，可以有效地解码音乐音色，形成一种比现有方法更优的 fMRI 数据序列转换框架，用于预测不同 fMRI 数据序列是否记录了相同的音频音色。

    May, 2023

  • 从体素到像素再到体素：自监督法在基于 fMRI 的自然图像重建中的应用

    本文提出了一种新颖的方法，利用 Encoder-Decoder 和 Decoder-Encoder 网络结构，通过有标签数据和未标签的数据来训练 fMRI 到图片的重建网络，其中自监督机制使得网络可以适应统计数据的缺乏和输入数据的变化

    Jul, 2019

  • 多任务自监督预训练用于音乐分类

    本文研究应用自监督学习和多任务学习方法预训练音乐编码器，探索编码器结构、损失权重和自监督任务选择对下游音乐分类任务的影响。研究发现，使用多种音乐特定的自监督任务，结合合理的损失权重平衡，可以提高和推广到下游任务。

    Feb, 2021

  • fMRI-PTE：一种用于多被试脑活动解码的大规模 fMRI 预训练 Transformer 编码器

    脑活动解码的研究一直以来都是一个持久的追求，具有脑机接口、医学诊断和虚拟现实等潜在应用。我们提出了一种创新的 fMRI 预训练自编码器方法（fMRI-PTE），专注于解决因个体脑差异导致的 fMRI 数据维度变化的挑战。我们将 fMRI 信号转化为统一的二维表示，确保维度一致并保留独特的脑活动模式。我们引入了一种新颖的学习策略，针对预训练二维 fMRI 图像，提高重构品质。fMRI-PTE 通过与图像生成器的适应性，能够生成良好表示的 fMRI 特征，便于各种下游任务，包括同一受试者和跨受试者的脑活动解码。我们的贡献包括介绍 fMRI-PTE、创新的数据转化、高效的训练、新颖的学习策略以及我们方法的普适性。广泛的实验证实和支持了我们的观点，为该领域深入研究奠定了有希望的基础。

    Nov, 2023

  • 元转移的自监督知识：用于创伤后癫痫预测的基础模型

    通过深度学习和自我监督学习相结合的训练策略，我们提出了一种基础模型来改善将正常特征推广到临床特征，以实现从创伤性脑损伤后的数据对创伤性癫痫的预测等临床任务，并在神经系统疾病分类任务和零样本学习预测创伤性癫痫的应用中验证了该策略的有效性。

    Dec, 2023

  • 神经网络顺序转移自监督预训练调查

    本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

    Jul, 2020

  • 透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达

    我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

    Mar, 2024

  • 预训练语音编码器的自监督重连：在语音处理中以更少标签更快微调

    本文针对预训练语音编码器中的表示空间进行了研究，并通过对比自监督学习构建正对，以实现对表示空间的改进，进而在低资源环境下提高了语音处理任务的收敛速度和表现。

    Oct, 2022

  • 医用 Transformer：3D MRI 分析通用脑编码器

    本文提出了一种新的转移学习框架 —— 医学变压器，能够在充分利用三个平面信息的同时，有效地使用 2D 图像切片的序列建模三维体积图像。在大规模健康人脑磁共振成像数据集上进行自监督学习预训练后，评估结果表明，我们的做法优于现有 State-of-the-art 的转移学习方法，可将分类任务的参数数量有效减少近 92%。

    Apr, 2021

  • 基于任务型 fMRI 学习顺序信息的合成数据增强

    该论文提出了一种生成合成 fMRI 序列的方法，以创建增强的训练数据集，并通过视觉化和自闭症谱系障碍（ASD）分类任务的评估结果表明，合成的任务特定 fMRI 可以在学习 ASD 分类任务中提供有效的数据增强。

    Aug, 2023