介绍了一种突破性的端到端（E2E）框架，用于解码侵入性脑信号，取得了语音神经假肢领域的重大进展。通过充分整合大型语言模型，实现与最先进的级联模型相当的结果，突出了 E2E 框架在语音神经假肢中的巨大潜力，尤其在脑机接口技术和相关数据集的发展进化方面。该项工作不仅展示了将大型语言模型与 E2E 解码相结合以增强语音神经假肢的有效性，还为脑机接口应用的未来研究指明了新的方向，突显了在解码复杂神经信号以实现恢复交流方面，大型语言模型的影响力。

Jun, 2024

使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

Nov, 2023

研究目的是调查言语知觉的复杂机制，并最终解码在听取言语时发生的大脑电生理学变化。我们尝试使用深度学习方法从颅内脑电数据中解码听到的言语，目标是促进言语合成的脑 - 机接口技术的发展，并为言语知觉的认知过程提供额外的视角。这一方法不同于传统的言语产生焦点，而选择调查感知言语的神经表达。通过利用深度学习模型的能力，研究旨在建立这些复杂神经活动与相应言语声音之间的联系。尽管该方法尚未取得突破，但研究揭示了解码言语知觉期间神经活动的潜力。我们目前的努力可以作为基础，并且我们对拓展和改进这项工作以更接近先进的脑 - 机接口、更好地理解言语知觉过程及其与口语之间的关系的潜力持乐观态度。

Feb, 2024

通过使用 DDPMs 和条件自编码器 Diff-E 对 EEG 信号进行解码来实现想象语言，结果表明 Diff-E 相较于传统机器学习技术和基准模型，显著提高了解码 EEG 信号想象语言的准确性，这一发现表明 DDPMs 可以成为 EEG 信号解码的有效工具，具有潜在的用于通过想象语言进行交流的脑机接口的意义。

Jul, 2023

通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

Aug, 2022

本文提出了一种混合深度神经网络策略，将卷积神经网络和递归神经网络并行组合，级联自编码器和全连接层，以自动识别 EEG 中的想象语音，并演示了相对于基线方法约 23.45％的准确度改进，展示了混合 DNN 方法在复杂时空分类问题上的潜力。

Apr, 2019

在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

Mar, 2024

本文利用融合功能磁共振成像 (fMRI) 和脑电图 (EEG) 的方法对内部言语进行了解码并探究了其性能优势。作者对两种不同的双模融合方法进行了研究，包括从单模 fMRI 和 EEG 机器学习模型的概率向量输出和特征工程的数据融合。作者通过四位参与者记录的同一任务的内部言语数据，比较和对比了不同的处理策略并探索了不同的融合模型对理解内部言语的表现差异。研究发现不同参与者的数据编码了不同的基础结构，因此，基于受试者的融合模型的解码表现存在差异。如果数据表现出基础结构，则深入探究双模 fMRI-EEG 融合策略的解码性能有所提高。

Jun, 2023

运用扩散概率模型 (Denoising diffusion probabilistic models) 和条件自编码器构建的新方法，在分析与言语相关的脑电信号方面取得了令人瞩目的结果，优于传统机器学习算法和基准模型，显示出扩散概率模型在语音相关脑电信号分析中的潜力，这可能推动针对口头交流的脑机接口的重要进展。

Nov, 2023

本研究提出了一种使用多重对齐框架将脑电信号转换为文本的新方法，通过在 MEG 信号中直接生成全新的文本，实现了令人印象深刻的 BLEU-1 得分，极大地超越了基线模型，显示出实现 BCI 研究的潜力。

Jun, 2024