迈向被动听取语音期间脑活动的解码

Feb, 2024

迈向被动听取语音期间脑活动的解码

Towards Decoding Brain Activity During Passive Listening of Speech

Milán András Fodor, Tamás Gábor Csapó, Frigyes Viktor Arthur

TL;DR研究目的是调查言语知觉的复杂机制，并最终解码在听取言语时发生的大脑电生理学变化。我们尝试使用深度学习方法从颅内脑电数据中解码听到的言语，目标是促进言语合成的脑 - 机接口技术的发展，并为言语知觉的认知过程提供额外的视角。这一方法不同于传统的言语产生焦点，而选择调查感知言语的神经表达。通过利用深度学习模型的能力，研究旨在建立这些复杂神经活动与相应言语声音之间的联系。尽管该方法尚未取得突破，但研究揭示了解码言语知觉期间神经活动的潜力。我们目前的努力可以作为基础，并且我们对拓展和改进这项工作以更接近先进的脑 - 机接口、更好地理解言语知觉过程及其与口语之间的关系的潜力持乐观态度。

Abstract

The aim of the study is to investigate the complex mechanisms of speech perception and ultimately decode the electrical changes in the brain accruing while listening to speech. We attempt to decode heard speech from intracranial electroencephalographic (iEEG) data using deep learning methods<

speech perception intracranial electroencephalographic data deep learning methods brain-computer interface technology neural representations

发现论文，激发创造

从非侵入式脑记录中解码语音

通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

Aug, 2022

解码神经信号为语音

在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

Mar, 2024

通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

Sep, 2023

深度表示学习用于开放词汇的脑电图到文本解码

使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

Nov, 2023

脑电信号的内部语音识别

本文研究基于脑电信号的内部语音识别，利用公开的内部语音数据集，采用多种分类模型（支持向量机、极端梯度提升、LSTM 和双向 LSTM），获得了领先和接近于现有最先进方法的识别结果，将为失去说话能力的人提供有效的语音交流策略。

Oct, 2022

使用跳过连接进行大脑信号的无主题分类

研究了使用脑电波编码词语的可行性，提出在卷积神经网络中使用跨层连接以帮助信息流动，并使用测试数据结果表明，在此情况下分类性能得到显着提高。

Jan, 2023

用于多模式自然语言处理的 EEG 脑电信号解码

本文针对脑电信号对自然语言处理的潜力进行了大规模研究，利用多模态机器学习体系结构，发现滤波后的脑电信号对情感分析任务的性能提升最为明显，特别是在训练数据有限的情况下。

Feb, 2021

揭示思维：脑电信号解码成文本之进展综述

脑活动转化为文本的研究在近年来取得了显著的进展，许多研究人员致力于开发新模型将脑电信号解码为文本形式，但该领域仍面临许多挑战，需要进一步改进。该综述文章完整总结了脑电信号转化为文本的进展，包括该技术的成长、仍存在的问题、数据收集方法、信号处理步骤以及将这些信号转化为连贯文本的系统开发。通过解决这些方面，该综述旨在为广泛的用户群体开发更易接触和有效的脑机接口（BCI）技术做出贡献。

Apr, 2024

深度特征学习 EEG 信号：通过启用脑电文本输入实现思维转文字

提出了一种基于深度神经网络的 MI-EEG 分类方法，采用联合卷积循环神经网络同时学习低维稠密嵌入的强鲁棒高级特征，消除多种伪迹。实验证明，该方法在 MI-EEG 数据集上的分类精度达到了 95.53％，并应用于具体的 BCI 系统中，实现了打字操作。

Sep, 2017

基于层次深度特征学习的 EEG 想象语音解码

本文提出了一种混合深度神经网络策略，将卷积神经网络和递归神经网络并行组合，级联自编码器和全连接层，以自动识别 EEG 中的想象语音，并演示了相对于基线方法约 23.45％的准确度改进，展示了混合 DNN 方法在复杂时空分类问题上的潜力。

Apr, 2019