基于 GPT2 词语预测与跨受试者训练的高性能 P300 拼写器

May, 2024

基于 GPT2 词语预测与跨受试者训练的高性能 P300 拼写器

High Performance P300 Spellers Using GPT2 Word Prediction With Cross-Subject Training

Nithin Parthasarathy, James Soetedjo, Saarang Panchavati, Nitya Parthasarathy, Corey Arnold...

TL;DR该研究论文通过创新的 “跨主体” 分类器解决基于 P300 的多主体分类器训练中遇到的常见速度限制问题，并通过使用第二代 GPT2 和 Dijkstra 算法来优化刺激并根据打字历史建议单词补全选择，以及使用多层平滑技术来适应词汇表以外的词汇，通过广泛模拟从受试者中随机抽样的脑电图数据，证明了在包含罕见和词汇表以外词汇的打字段落中，显著提高了打字速度约 10％的改进，并在多词预测中提高了多达 40％的改进。研究证明，将传统的行 / 列突出显示技术与分层单词预测相结合可以实现接近最优的性能。此外，研究还探讨了 “同主体” 和 “跨主体” 训练技术，结果表明速度的改进在这两种方法中都是一致的。

Abstract

amyotrophic lateral sclerosis (ALS) severely impairs patients' ability to communicate, often leading to a decline in their quality of life within a few years of diagnosis. The p300 speller brain-computer interface

amyotrophic lateral sclerosis p300 speller brain-computer interface multi-subject classifiers generative pre-trained transformer dijkstra's algorithm

发现论文，激发创造

适应神经脑机接口预测输入的 Transformer 语言模型

使用 Transformer 语言模型进行字符预测可以很大程度上加快 BCI 打字速度，本文针对几种基于 wordpiece 级别的 Transformer 语言模型进行了评估，并发现 GPT-2 可以在干净的文本上取得最佳效果，同时分析了字符位置和上下文长度对打字速度的影响。

May, 2023

ChatGPT-BCI: 使用 GPT、EEG 和眼动生物标志的语义推理阅读理解的词级神经状态分类

通过联合分析大型语言模型、眼动数据和脑电图数据，本研究旨在研究人脑在阅读时对具有不同关联程度的关键词的词语的处理方式，并用特征工程方法改善相关脑电图数据的分类，从而为人类的认知能力和人工智能领域提供有价值的洞察，并为发展潜在的阅读辅助技术提供指导。

Sep, 2023

用于脑机接口诱发电位的跨受试者深度转移模型

本文介绍一种基于深度学习的脑机接口技术，通过使用多组数据进行训练，实现了一定的性能，同时通过迁移学习，使得该技术能够用于不同用户，从而解决了目前脑机接口技术中需要耗费大量数据搜集的问题，该技术有望提高脑机接口技术的临床应用性和可行性。

Jan, 2023

利用大型语言模型加速重度运动受限用户通信

通过使用基于大型语言模型的用户界面，以高度缩写的形式进行文本输入，提高了使用 AAC 设备的运动受限用户的文本输入速度。对于那些需要眼球追踪键盘等辅助和替代交流设备的人来说，这种方法可以节省大量的操作，实现更快的文本输入速度。

Dec, 2023

使用预训练字素模型的神经音素转换

本文提出了一种预训练的字形模型 GBERT，通过两种方法将其融合到基于 Transformer 的 G2P 模型中，实验证明了该模型在 SIGMORPHON 2021 G2P 任务的中低资源数据情况下的有效性。

Jan, 2022

迈向独立于注视的 c-VEP 脑机接口：初步研究

探索利用 c-VEP 协议进行凝视无关的脑机接口技术，使用隐藏空间注意力代替眼部运动，实现基于脑电图的两种条件下高准确率的刺激解码。

Mar, 2024

深度特征学习 EEG 信号：通过启用脑电文本输入实现思维转文字

提出了一种基于深度神经网络的 MI-EEG 分类方法，采用联合卷积循环神经网络同时学习低维稠密嵌入的强鲁棒高级特征，消除多种伪迹。实验证明，该方法在 MI-EEG 数据集上的分类精度达到了 95.53％，并应用于具体的 BCI 系统中，实现了打字操作。

Sep, 2017

EEG2TEXT: EEG 预训练和多视角变压器下的开放词汇脑电图到文本解码

通过使用 EEG2TEXT 方法，借助 EEG 预训练和多视图变压器，能够从脑电图信号中提取更准确的开放词汇解码，并在绝对 BLEU 和 ROUGE 得分上超过现有基线方法高达 5%，显示出高性能开放词汇脑机接口与文本系统用于促进交流的巨大潜力。

May, 2024

深度表示学习用于开放词汇的脑电图到文本解码

使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

Nov, 2023

基於 GPT-2 注意力模式的熵和距離預測器，預測閱讀時間超過 GPT-2 驚奇值

本文探讨了 Transformer-based 大型语言模型的自我注意力机制在认知建模领域中的作用，提出了基于熵和距离的预测器，并证明了在使用与 GPT-2 语言模型相关的数据进行回归实验时，距离预测器相较于基于 surprisal 的预测器有更高的预测能力。

Dec, 2022