神经群体解码的统一可扩展框架

Oct, 2023

A Unified, Scalable Framework for Neural Population Decoding

Mehdi Azabou, Vinam Arora, Venkataramana Ganesh, Ximeng Mao, Santosh Nachimuthu...

TL;DR运用深度学习方法解读神经活动的研究表明，通过扩大模型规模和数据集规模，我们能更好地理解神经活动的特征。本文介绍了一种用于对各种大规模神经活动数据进行建模的训练框架和架构，通过将数据集中的个体脉冲进行分词来捕捉神经活动的细微时间结构，并利用交叉注意力和 PerceiverIO 主干构建神经群体活动的潜在分词。通过这种架构和训练框架，我们构建了一个大规模的多会话模型，利用来自七只非人灵长类动物的大型数据集，跨越 158 个不同的记录会话、27373 个神经单元和 100 多小时的记录。在许多不同的任务中，我们证明了我们的预训练模型可以快速适应新的、未知的带有未指定神经元对应关系的记录会话，以最小的标签实现少样本性能。这项工作为构建分析神经数据的深度学习工具提供了一种有力的新方法，并为规模化训练开辟了明确的路径。

Abstract

Our ability to use deep learning approaches to decipher neural activity would likely benefit from greater scale, in terms of both model size and datasets. However, the integration of many neural recordings into o

deep learning neural activity large-scale neural recordings training framework few-shot performance

发现论文，激发创造

恒河猴皮层人口动态推断

本文介绍了一种基于递归神经网络（RNN）的神经元群体动态行为的建模方法，该方法经过 macaque 大脑皮层的四个数据集的测试，效果较其他模型更好，其中，RNN 的自回归偏差是实现最高水平性能的关键因素之一。此外，提出了一个新的混合架构，将 RNN 与自我关注补充在一起，从而进一步提高性能。

Apr, 2023

神经种群几何和任务共享潜在结构的最优编码

人和动物可以认识到环境中的潜在结构，并将这些信息应用于有效地导航世界。本论文开发了一个分析理论，将神经群体活动的中等统计特性与多任务学习问题上的泛化性能相联系。利用这个理论，我们发现实验观察到的因素化（或解缠）表示自然地成为多任务学习问题的最优解，同时验证了来自生物和人工神经网络数据的理论预测。这些结果将神经群体几何学与多任务学习问题联系起来，并对这些场景中的群体活动结构进行正式预测。

Feb, 2024

从个体神经元的群体动态学习时不变表达

神经元的高度变化动力学，提出了一种基于自监督学习的方法，通过对种群记录进行置换和不变总结对个体神经元赋予时间不变性表示，对神经元活动进行动力学建模，可实现对转录组标签的预测，大约提升了 35% 的预测转录组亚类别的准确性，并且相对于最先进的方法提高了 20% 的类别预测准确性。

Nov, 2023

人群变换器：学习颅内活动的人群级表示

我们提出了一个自主训练框架，以大规模学习人口层级下的颅内神经记录，实现了对关键的神经科学记录模态的表示学习的益处。Population Transformer（PopT）降低了解码实验所需的数据量，同时提高了准确性，即使在以前从未见过的受试者和任务上也能如此。我们解决了开发 PopT 时遇到的两个主要挑战：稀疏电极分布和不同病人之间的电极位置变化。PopT 在预训练表示的基础上增加层级，通过启用多个空间稀疏数据通道的学习聚合来增强下游任务。除了解码，我们使用预训练的 PopT 和微调模型来解释它如何用于提供从大量数据中学习的神经科学见解。我们发布了预训练的 PopT 以实现多通道颅内数据解码和可解释性的即时改进，代码可在此 https URL 中获取。

Jun, 2024

从多个大规模神经群体记录中学习预测相关性以提取低维动态

本文提出了一种用于多个序列记录的低维动力学提取的方法，该方法利用了降维方法并构建了一种优化模型，能够有效地分析分布在大型脑区域中的动力学，并在遇到严重子采样和小重叠度的情况下标识动力学并预测相关性，同时对处理丢失数据也有很好的表现。

Nov, 2017

使用大型模型对深度视觉神经元进行自动化自然语言解释

通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

Oct, 2023

基于贝叶斯方法的多神经元记录中的潜在结构发现

通过将广义线性模型与柔性基于图的先前知识结合，利用 Polya-gamma 增强的完全贝叶斯推理的方法，可以从神经元的同时记录的 Spike train 数据中推断潜在结构，我们的方法将神经元分类并从相关的 Spike train 中推断电路组织的潜在维度，并通过应用于灵长类视网膜的多神经元记录，揭示了神经元类型和位置的潜在模式。

Oct, 2016

使用 pi-VAE 学习高维神经活动的可识别和可解释潜变量模型

论文提出了 pi-VAE 这一将潜在变量模型和神经编码模型相结合的新方法，用于分析神经元群体响应数据，并通过合成和实验数据在大鼠海马和恒河猴运动皮层数据集中进行了验证，证明了该方法具有更好的拟合功效和可解释性，可以为神经编码结构提供新的见解。

Nov, 2020

大脑的苦苦教训：自我监督学习下的语音解码的扩展

开发一组神经科学启发的自监督目标和神经架构，用于从异构和无标记神经记录中进行表征学习，实验证明这些目标学习到的表征能够普遍适用于不同的被试者、数据集和任务，并比仅使用有标记数据时更快地学习；此外，为两个基础性语音解码任务设置了新的基准，这些方法现在可以利用数量级更多的现有数据来训练语音解码模型。

Jun, 2024

利用多个解码输入通过潜在扩散模型改进从人脑活动中重建视觉图像

通过深度学习和神经科学的整合，本研究使用多种不同的解码技术对视觉体验的再建进行了实验，证明了这些技术能够大大提高基线准确率。

Jun, 2023