Sep, 2023

ChatGPT-BCI: 使用 GPT、EEG 和眼动生物标志的语义推理阅读理解的词级神经状态分类

PDF
TL;DR通过联合分析大型语言模型、眼动数据和脑电图数据，本研究旨在研究人脑在阅读时对具有不同关联程度的关键词的词语的处理方式，并用特征工程方法改善相关脑电图数据的分类，从而为人类的认知能力和人工智能领域提供有价值的洞察，并为发展潜在的阅读辅助技术提供指导。
large language modelssemantic relation reading-comprehensioneye-gazeelectroencephalographic datafeature engineering approach
发现论文，激发创造
  • EEG-GPT: 大型语言模型在脑电波分类与解读中的能力探索

    EEG-GPT 是一种统一的脑电图分类方法，利用大型语言模型的进展实现了在多尺度脑电生理理解和分类能力方面出色的性能，同时提供透明和可解释的逐步验证过程，从而在临床环境中提高了可信度。

    Jan, 2024

  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 开放词汇电脑图文解码及零样本情感分类

    本文介绍了一种对开放词汇的象限脑电图 (EEG)- 到 - 文本序列到序列解码和零样本句子情感分类的方法，并借助预训练语言模型 (例如 BART) 建立一个新的框架，该模型能够处理来自不同受试者和来源的数据，并证明了该模型可以一旦足够的数据可用，有望成为高性能的开放词汇脑到文本系统。

    Dec, 2021

  • EEG2TEXT: EEG 预训练和多视角变压器下的开放词汇脑电图到文本解码

    通过使用 EEG2TEXT 方法，借助 EEG 预训练和多视图变压器，能够从脑电图信号中提取更准确的开放词汇解码，并在绝对 BLEU 和 ROUGE 得分上超过现有基线方法高达 5%，显示出高性能开放词汇脑机接口与文本系统用于促进交流的巨大潜力。

    May, 2024

  • 神经 GPT：为脑电图开发基础模型

    为应对脑机接口任务中的电脑断层扫描（EEG）数据稀缺和异质性，以及利用大规模的公共数据，我们提出了神经 - GPT，这是一个由 EEG 编码器和 GPT 模型组成的基础模型。该基础模型在大规模的公共 EEG 数据集上进行自监督任务的预训练，学习如何重构 EEG 中的掩码块。然后，我们在仅有 9 个受试者的运动意象分类任务上对基础模型进行微调。实验证明，应用基础模型可以显著提高分类性能，相比从头开始训练的模型，这提供了基础模型先进泛化能力和应对数据稀缺性和异质性挑战的能力的证据。

    Nov, 2023

  • 机器关注时的人类大脑活动

    通过将神经网络和神经科学的 EEG 数据相结合，使用理论驱动的裁剪和随机森林树分割来降低 EEG 数据的维度，从而改进了 NLP 任务中的注意力机制，表现出比强基准线更佳的表现，有助于进一步研究 EEG 在 NLP 任务中的应用。

    Jun, 2020

  • 衡量（心理）语言和易读性特征以及它们的溢出效应对预测眼动模式的影响

    本文报告了两个眼动追踪语料库和两种语言模型（BERT 和 GPT-2）的实验结果。实验表明，预测自然阅读过程中多种眼动追踪参数时，包含的特征和基于 transformer 的语言模型的架构都发挥了作用。同时通过 SP-LIME，实验分析了不同特征组的相对重要性。

    Mar, 2022

  • MindGPT：使用非侵入性脑记录解读所见

    通过 fMRI 信号解释感知到的视觉刺激为自然语言的一种非侵入性神经解码器 MindGPT，该模型建立在具有交叉注意机制的视觉引导神经编码器上，并通过大型语言模型 GPT 的协同使用来将潜在的神经表示引导到期望的语义方向，从而使 MindGPT 的神经表示具有可解释性，可以用来评估视觉属性对语义的贡献。实验证明生成的词序列真实地代表了感知刺激中传达的视觉信息（具有关键细节），结果还表明，对于语言解码任务，高级视觉皮层（HVC）比低级视觉皮层（LVC）更具语义信息，仅使用 HVC 就可以恢复大部分语义信息。MindGPT 模型的代码将公开发布在此 https URL 上。

    Sep, 2023

  • 使用遮蔽注意力生成探测大脑上下文敏感性

    利用 GPT-2 变形金刚生成的单词嵌入来测试大脑对自然文本中背景信息的反应，结果表明语言网络中的大多数皮层对背景信息敏感，右半球对于较长场景的反应比左半球更敏感，支持以前的上下文敏感度分析并有助于量化每个体素的上下文整合窗口大小。

    May, 2023

  • 基于 GPT2 词语预测与跨受试者训练的高性能 P300 拼写器

    该研究论文通过创新的 “跨主体” 分类器解决基于 P300 的多主体分类器训练中遇到的常见速度限制问题，并通过使用第二代 GPT2 和 Dijkstra 算法来优化刺激并根据打字历史建议单词补全选择，以及使用多层平滑技术来适应词汇表以外的词汇，通过广泛模拟从受试者中随机抽样的脑电图数据，证明了在包含罕见和词汇表以外词汇的打字段落中，显著提高了打字速度约 10％的改进，并在多词预测中提高了多达 40％的改进。研究证明，将传统的行 / 列突出显示技术与分层单词预测相结合可以实现接近最优的性能。此外，研究还探讨了 “同主体” 和 “跨主体” 训练技术，结果表明速度的改进在这两种方法中都是一致的。

    May, 2024