Jun, 2024

朝着具有大型语言模型的侵入性脑信号解码的端到端框架

PDF
TL;DR介绍了一种突破性的端到端（E2E）框架，用于解码侵入性脑信号，取得了语音神经假肢领域的重大进展。通过充分整合大型语言模型，实现与最先进的级联模型相当的结果，突出了 E2E 框架在语音神经假肢中的巨大潜力，尤其在脑机接口技术和相关数据集的发展进化方面。该项工作不仅展示了将大型语言模型与 E2E 解码相结合以增强语音神经假肢的有效性，还为脑机接口应用的未来研究指明了新的方向，突显了在解码复杂神经信号以实现恢复交流方面，大型语言模型的影响力。
end-to-end frameworkdecoding invasive brain signalsspeech neuroprosthesislarge language modelsbrain-computer interfaces
发现论文，激发创造
  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 从非侵入式脑记录中解码语音

    通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

    Aug, 2022

  • 解码神经信号为语音

    在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

    Mar, 2024

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 基于预训练语音和语言模型的端到端语音识别整合

    利用预训练语音表示模型与大型语言模型（LLM）的集成，通过以语音表示作为语音提示，自动逐步生成文本标记，以利用 LLM 提供的广博知识，从而实现端到端的自动语音识别（ASR）模型，该模型还可结合推理优化和参数高效领域适应等关键技术，实现与现代端到端 ASR 模型相媲美的性能。

    Dec, 2023

  • 从脑电信号实现全面端对端的语音解码

    EEG 信号的完全端到端语音解码新框架 FESDE，通过学习和连接 EEG 信号的潜在空间和语音波形，直接重构听到的语音波形，无需中间的声学特征处理步骤，并在客观度量指标上超过了以前的方法。

    Jun, 2024

  • MAD：多对多 MEG 到文本解码

    本研究提出了一种使用多重对齐框架将脑电信号转换为文本的新方法，通过在 MEG 信号中直接生成全新的文本，实现了令人印象深刻的 BLEU-1 得分，极大地超越了基线模型，显示出实现 BCI 研究的潜力。

    Jun, 2024

  • 利用自然语言监督进行脑电图到语言解码和零样本情感分类的自举方法 (BELT)

    提出一种名为 BELT 的模型和学习框架，以大规模预训练语言模型和自然语言监督为基础，通过深度 Conformer 编码器和矢量量化编码器实现大脑信号到自然语言的转换，取得了在脑信号解码和零样本情感分类任务上的最新结果。

    Sep, 2023

  • 人机联合学习框架以提升内生脑机接口训练

    脑机接口（BCIs）提供了从大脑到外部设备的直接路径，具有辅助和康复技术的巨大潜力。通过引导用户生成朝向解码器估计的最优分布的脑信号，提出了一种人机联合学习框架来加速内源性 BCIs 中的学习过程。通过 18 名健康受试者的在线和伪在线 BCI 实验，证明了所提出的联合学习过程在学习效率和效果上的优势。

    Aug, 2023

  • 通过预训练对比度 EEG-Text 掩蔽自编码器的可转移表示增强 EEG 到文本解码

    提出了一种新颖的 Contrastive EEG-Text Masked Autoencoder 模型，并借助预训练模块以及 EEG 流实现了 EEG 到文本的解码，实验结果表明在文本激发的 EEG 数据库上，该模型在 ROUGE-1 F1 和 BLEU-4 得分上分别超过现有技术 8.34％和 32.21％，这显示了该框架在大脑计算界面应用领域的潜力。

    Feb, 2024