Aug, 2024

基于脑电图记录的语言神经表征学习与句子检索研究

HTML
PDF
TL;DR本研究解决了从脑电图（EEG）信号中提取语言信息的难题，提出了一种新的两步流程以提升语言解码的有效性。核心创新在于采用掩蔽对比目标训练Conformer编码器，从而在自然阅读过程中学习到单词级语义信息，并通过无训练的检索方法获取句子。实验结果表明，该方法能够有效将EEG片段分类为具有相似含义的语义类别，为脑-计算机接口应用提供了更可靠的解码解决方案。
发现论文，激发创造
  • 用于多模式自然语言处理的EEG脑电信号解码

    本文针对脑电信号对自然语言处理的潜力进行了大规模研究，利用多模态机器学习体系结构，发现滤波后的脑电信号对情感分析任务的性能提升最为明显，特别是在训练数据有限的情况下。

    Feb, 2021

  • 开放词汇电脑图文解码及零样本情感分类

    本文介绍了一种对开放词汇的象限脑电图 (EEG)-到-文本序列到序列解码和零样本句子情感分类的方法，并借助预训练语言模型 (例如BART)建立一个新的框架，该模型能够处理来自不同受试者和来源的数据，并证明了该模型可以一旦足够的数据可用，有望成为高性能的开放词汇脑到文本系统。

    Dec, 2021

  • 从非侵入式脑记录中解码语音

    通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

    Aug, 2022

  • 基于语义感知的课程学习在脑电图到文本生成中的对比学习

    本文介绍了使用课程多义对比学习策略来降低脑电信号与自然语言文本之间差异的挑战，其在多种模型和架构上均表现出优秀的实验结果并取得最新的最优结果，可广泛应用于单一对象和资源匮乏的情况，并且其在零样本学习方面具有鲁棒性。

    Jan, 2023

  • ChatGPT-BCI: 使用GPT、EEG和眼动生物标志的语义推理阅读理解的词级神经状态分类

    通过联合分析大型语言模型、眼动数据和脑电图数据，本研究旨在研究人脑在阅读时对具有不同关联程度的关键词的词语的处理方式，并用特征工程方法改善相关脑电图数据的分类，从而为人类的认知能力和人工智能领域提供有价值的洞察，并为发展潜在的阅读辅助技术提供指导。

    Sep, 2023

  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 通过预训练对比度 EEG-Text 掩蔽自编码器的可转移表示增强 EEG 到文本解码

    提出了一种新颖的Contrastive EEG-Text Masked Autoencoder模型，并借助预训练模块以及EEG流实现了EEG到文本的解码，实验结果表明在文本激发的EEG数据库上，该模型在ROUGE-1 F1和BLEU-4得分上分别超过现有技术8.34％和32.21％，这显示了该框架在大脑计算界面应用领域的潜力。

    Feb, 2024

  • EEG2TEXT: EEG预训练和多视角变压器下的开放词汇脑电图到文本解码

    通过使用 EEG2TEXT 方法，借助 EEG 预训练和多视图变压器，能够从脑电图信号中提取更准确的开放词汇解码，并在绝对 BLEU 和 ROUGE 得分上超过现有基线方法高达 5%，显示出高性能开放词汇脑机接口与文本系统用于促进交流的巨大潜力。

    May, 2024

  • Thought2Text: 利用大型语言模型从脑电图信号生成文本

    本研究解决了如何将脑活动解码为可理解文本的挑战，提出了一种名为Thought2Text的方法，利用经过脑电图数据微调的指令调优大型语言模型。实验结果显示，该方法在解释脑电图信号生成文本方面具有显著进展，展现了在神经科学和自然语言处理领域的潜在应用价值。

    Oct, 2024

  • 大型语言模型帮助缓解脑信号与语言对齐中的跨个体变异性

    本研究解决了从EEG信号解码人类活动时，缺乏对未见个体进行零样本预测的能力这一问题。通过利用大型语言模型（LLMs）作为去噪代理，提取了EEG信号中的个体无关语义特征，从而提升了模型的鲁棒性和下游任务的可推广性。实验结果显示，LLMs在解码噪声EEG数据中的个体无关语义信息方面发挥了至关重要的作用，预示着该研究对脑-机接口（BCI）领域的潜在影响。

    Jan, 2025