Jun, 2023

使用同任务 EEG-fMRI 数据融合和双模型的数据驱动内部语音解码性能

PDF
TL;DR本文利用融合功能磁共振成像 (fMRI) 和脑电图 (EEG) 的方法对内部言语进行了解码并探究了其性能优势。作者对两种不同的双模融合方法进行了研究，包括从单模 fMRI 和 EEG 机器学习模型的概率向量输出和特征工程的数据融合。作者通过四位参与者记录的同一任务的内部言语数据，比较和对比了不同的处理策略并探索了不同的融合模型对理解内部言语的表现差异。研究发现不同参与者的数据编码了不同的基础结构，因此，基于受试者的融合模型的解码表现存在差异。如果数据表现出基础结构，则深入探究双模 fMRI-EEG 融合策略的解码性能有所提高。
发现论文，激发创造
  • 脑电信号的内部语音识别

    本文研究基于脑电信号的内部语音识别，利用公开的内部语音数据集，采用多种分类模型（支持向量机、极端梯度提升、LSTM 和双向 LSTM），获得了领先和接近于现有最先进方法的识别结果，将为失去说话能力的人提供有效的语音交流策略。

    Oct, 2022

  • 解码神经信号为语音

    在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

    Mar, 2024

  • 从非侵入式脑记录中解码语音

    通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

    Aug, 2022

  • 基于多模态联合图表示的脑动力学推断 - EEG-fMRI

    采用多模态分析方法的 EEG-fMRI 研究 最近在非侵入性神经影像学技术（如 EEG 和 fMRI）中得到了广泛应用，我们在此通过非线性融合方法、基于图像解析和深度学习等多个角度诠释该方法对人脑功能变化的研究所带来的新视角。

    Jan, 2022

  • 离散单元引导的面罩建模：从颅内神经信号解码语音

    通过构建多元神经表示，Du-IN 模型可以从特定的脑区提取上下文嵌入，从而在语言相关的脑网络上实现了 SOTA 性能。

    May, 2024

  • 从脑电信号实现全面端对端的语音解码

    EEG 信号的完全端到端语音解码新框架 FESDE，通过学习和连接 EEG 信号的潜在空间和语音波形，直接重构听到的语音波形，无需中间的声学特征处理步骤，并在客观度量指标上超过了以前的方法。

    Jun, 2024

  • 基于层次深度特征学习的 EEG 想象语音解码

    本文提出了一种混合深度神经网络策略，将卷积神经网络和递归神经网络并行组合，级联自编码器和全连接层，以自动识别 EEG 中的想象语音，并演示了相对于基线方法约 23.45％的准确度改进，展示了混合 DNN 方法在复杂时空分类问题上的潜力。

    Apr, 2019

  • 迈向被动听取语音期间脑活动的解码

    研究目的是调查言语知觉的复杂机制，并最终解码在听取言语时发生的大脑电生理学变化。我们尝试使用深度学习方法从颅内脑电数据中解码听到的言语，目标是促进言语合成的脑 - 机接口技术的发展，并为言语知觉的认知过程提供额外的视角。这一方法不同于传统的言语产生焦点，而选择调查感知言语的神经表达。通过利用深度学习模型的能力，研究旨在建立这些复杂神经活动与相应言语声音之间的联系。尽管该方法尚未取得突破，但研究揭示了解码言语知觉期间神经活动的潜力。我们目前的努力可以作为基础，并且我们对拓展和改进这项工作以更接近先进的脑 - 机接口、更好地理解言语知觉过程及其与口语之间的关系的潜力持乐观态度。

    Feb, 2024

  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 低资源多语音声学模型融合的非线性两两语言映射

    在多语种语音识别中，为了弥补低资源语言的数据匮乏，人们广泛使用多功能语音识别。 本文提出了一种新颖的混合 DNN-HMM 声学模型融合方法，实现了多种低资源语言的跨语音识别，且相对于多功能和单语基线，后验融合得到了 14.65％和 6.5％的相对收益。

    Jul, 2022