Jun, 2024

人群变换器：学习颅内活动的人群级表示

PDF
TL;DR我们提出了一个自主训练框架，以大规模学习人口层级下的颅内神经记录，实现了对关键的神经科学记录模态的表示学习的益处。Population Transformer（PopT）降低了解码实验所需的数据量，同时提高了准确性，即使在以前从未见过的受试者和任务上也能如此。我们解决了开发 PopT 时遇到的两个主要挑战：稀疏电极分布和不同病人之间的电极位置变化。PopT 在预训练表示的基础上增加层级，通过启用多个空间稀疏数据通道的学习聚合来增强下游任务。除了解码，我们使用预训练的 PopT 和微调模型来解释它如何用于提供从大量数据中学习的神经科学见解。我们发布了预训练的 PopT 以实现多通道颅内数据解码和可解释性的即时改进，代码可在此 https URL 中获取。
self-supervised frameworkpopulation-level codesintracranial neural recordingspopulation transformerpretrained popt
发现论文，激发创造
  • 神经群体解码的统一可扩展框架

    运用深度学习方法解读神经活动的研究表明，通过扩大模型规模和数据集规模，我们能更好地理解神经活动的特征。本文介绍了一种用于对各种大规模神经活动数据进行建模的训练框架和架构，通过将数据集中的个体脉冲进行分词来捕捉神经活动的细微时间结构，并利用交叉注意力和 PerceiverIO 主干构建神经群体活动的潜在分词。通过这种架构和训练框架，我们构建了一个大规模的多会话模型，利用来自七只非人灵长类动物的大型数据集，跨越 158 个不同的记录会话、27373 个神经单元和 100 多小时的记录。在许多不同的任务中，我们证明了我们的预训练模型可以快速适应新的、未知的带有未指定神经元对应关系的记录会话，以最小的标签实现少样本性能。这项工作为构建分析神经数据的深度学习工具提供了一种有力的新方法，并为规模化训练开辟了明确的路径。

    Oct, 2023

  • BrainBERT：面向颅内记录的自监督表示学习

    我们创造了一种可重复使用的 Transformer-BrainBERT，将现代表示学习方法引入神经科学，通过无监督的预训练使其能够对更复杂的概念进行分类，从而实现更高的准确性和更少的数据。

    Feb, 2023

  • 从个体神经元的群体动态学习时不变表达

    神经元的高度变化动力学，提出了一种基于自监督学习的方法，通过对种群记录进行置换和不变总结对个体神经元赋予时间不变性表示，对神经元活动进行动力学建模，可实现对转录组标签的预测，大约提升了 35% 的预测转录组亚类别的准确性，并且相对于最先进的方法提高了 20% 的类别预测准确性。

    Nov, 2023

  • 神经种群几何和任务共享潜在结构的最优编码

    人和动物可以认识到环境中的潜在结构，并将这些信息应用于有效地导航世界。本论文开发了一个分析理论，将神经群体活动的中等统计特性与多任务学习问题上的泛化性能相联系。利用这个理论，我们发现实验观察到的因素化（或解缠）表示自然地成为多任务学习问题的最优解，同时验证了来自生物和人工神经网络数据的理论预测。这些结果将神经群体几何学与多任务学习问题联系起来，并对这些场景中的群体活动结构进行正式预测。

    Feb, 2024

  • fMRI-PTE：一种用于多被试脑活动解码的大规模 fMRI 预训练 Transformer 编码器

    脑活动解码的研究一直以来都是一个持久的追求，具有脑机接口、医学诊断和虚拟现实等潜在应用。我们提出了一种创新的 fMRI 预训练自编码器方法（fMRI-PTE），专注于解决因个体脑差异导致的 fMRI 数据维度变化的挑战。我们将 fMRI 信号转化为统一的二维表示，确保维度一致并保留独特的脑活动模式。我们引入了一种新颖的学习策略，针对预训练二维 fMRI 图像，提高重构品质。fMRI-PTE 通过与图像生成器的适应性，能够生成良好表示的 fMRI 特征，便于各种下游任务，包括同一受试者和跨受试者的脑活动解码。我们的贡献包括介绍 fMRI-PTE、创新的数据转化、高效的训练、新颖的学习策略以及我们方法的普适性。广泛的实验证实和支持了我们的观点，为该领域深入研究奠定了有希望的基础。

    Nov, 2023

  • 基于 Transformer 的脑电解码空时特征学习

    研究提出了一种新的基于注意力机制的 EEG 解码方法，通过注意力变换增强空间特征，采用时间维度的切片进行注意力变换，使用全局平均池化和简单的全连接层对各类 EEG 数据进行分类。该方法在 EEG 的多分类方面达到了最先进水平，并有促进脑机接口的实际应用潜力。

    Jun, 2021

  • 透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达

    我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

    Mar, 2024

  • 神经群体动态和几何的可解释统计表征

    本研究提出了一种基于统计学习的无监督几何深度学习框架，利用局部相空间特征的统计分布来表示非线性动态系统，该方法提供了鲁棒的几何感知或几何无关的表示，可用于测量轨迹的基础上进行无偏的动力学比较，并设计了一种具有最先进准确性的解码算法。

    Apr, 2023

  • TransCoder: 基于人类技能的统一可迁移代码表示学习

    本文介绍了 TransCoder，一种统一的用于代码表示学习的可转移微调策略，能够促进代码相关任务的卓越性能，并鼓励相互强化。

    May, 2023

  • 通过物理知识引导的多任务转换器的嵌入网络理解听觉诱发的脑信号

    通过物理启发嵌入网络和深度学习技术，我们提出了一种创新的多任务学习模型 PEMT-Net，用于增强多任务听觉信号解码性能，从而超越现有方法并为理解大脑处理复杂听觉信息的机制提供新的见解。

    Jun, 2024