May, 2024

离散单元引导的面罩建模：从颅内神经信号解码语音

PDF
TL;DR通过构建多元神经表示，Du-IN 模型可以从特定的脑区提取上下文嵌入，从而在语言相关的脑网络上实现了 SOTA 性能。
brain-computer interfacesintracranial stereoelectroencephalographymulti-variate representationsspeech decodingdu-in model
发现论文，激发创造
  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 从非侵入式脑记录中解码语音

    通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

    Aug, 2022

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • 解码神经信号为语音

    在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

    Mar, 2024

  • 揭示多模态网络中的大脑视觉语言融合

    使用多模态深度神经网络（DNN）预测了人脑多模态整合的位置，通过预测人类在观看电影时的立体脑电图（SEEG）记录，我们将多模态整合的位置定义为多模态视觉语言模型优于单模态语言、单模态视觉或线性整合的区域。通过对不同架构和多模态训练技术的目标 DNN 模型进行对比，我们发现在大脑区域中存在多个整合多模态信息的神经位点。此外，我们发现在我们评估的多模态训练技术变体中，CLIP 风格的训练最适合下游预测这些位点的神经活动。

    Jun, 2024

  • BrainBERT：面向颅内记录的自监督表示学习

    我们创造了一种可重复使用的 Transformer-BrainBERT，将现代表示学习方法引入神经科学，通过无监督的预训练使其能够对更复杂的概念进行分类，从而实现更高的准确性和更少的数据。

    Feb, 2023

  • 基于扩散模型的脑驱动表示学习

    运用扩散概率模型 (Denoising diffusion probabilistic models) 和条件自编码器构建的新方法，在分析与言语相关的脑电信号方面取得了令人瞩目的结果，优于传统机器学习算法和基准模型，显示出扩散概率模型在语音相关脑电信号分析中的潜力，这可能推动针对口头交流的脑机接口的重要进展。

    Nov, 2023

  • 利用图像 - 语言基础模型识别人脑中共同可解码的概念

    本研究介绍了一种基于高质量预训练多模态表示利用功能磁共振成像技术探索人类大脑微观语义网络的方法，并描述了该方法在检测面孔、身体和空间等重要语义概念的表现及其在个体参与者中的应用。

    Jun, 2023

  • 无监督深度学习识别单个颞下皮层神经元内语义解缕

    使用深度非监督生成模型（beta-VAE）对猕猴 IT 中面孔的神经响应进行建模，发现与单个 IT 神经元编码的因素具有显著的对应关系，提示脑的视觉通路可能优化解缠绕目标，产生低维且在单元水平上具有语义解释力的神经编码。

    Jun, 2020

  • BENDR：使用变压器和对比自监督学习任务从海量脑电数据中学习

    本文着眼于通过自我监督学习和适应语言建模技术来发展基于深度神经网络的脑电建模技术，建立起一个单一的预训练模型，用于建模不同硬件、不同受试者和不同任务的全新脑电图序列记录，从而取得较好的脑机接口和脑电分类性能。

    Jan, 2021