适应神经脑机接口预测输入的 Transformer 语言模型
该研究论文通过创新的 “跨主体” 分类器解决基于 P300 的多主体分类器训练中遇到的常见速度限制问题,并通过使用第二代 GPT2 和 Dijkstra 算法来优化刺激并根据打字历史建议单词补全选择,以及使用多层平滑技术来适应词汇表以外的词汇,通过广泛模拟从受试者中随机抽样的脑电图数据,证明了在包含罕见和词汇表以外词汇的打字段落中,显著提高了打字速度约 10%的改进,并在多词预测中提高了多达 40%的改进。研究证明,将传统的行 / 列突出显示技术与分层单词预测相结合可以实现接近最优的性能。此外,研究还探讨了 “同主体” 和 “跨主体” 训练技术,结果表明速度的改进在这两种方法中都是一致的。
May, 2024
通过使用大规模语言模型(LLM)与语义脑解码器相结合,直接从功能性磁共振成像(fMRI)输入中生成与视觉或听觉语言刺激内容紧密相关的连贯语言序列,这证明了利用脑机接口(BCIs)直接生成语言的潜力和可行性。
Nov, 2023
本文介绍基于语言使用进行人格预测的交叉性研究,报道了用于文本数据的最全面的心理语言学特征和混合模型的两个主要改进,实验结果表明,这些模型优于同一数据集上的现有工作,并通过对心理语言学特征的不同类别进行消融实验来量化其影响。
Apr, 2022
提出了一种基于深度神经网络的 MI-EEG 分类方法,采用联合卷积循环神经网络同时学习低维稠密嵌入的强鲁棒高级特征,消除多种伪迹。实验证明,该方法在 MI-EEG 数据集上的分类精度达到了 95.53%,并应用于具体的 BCI 系统中,实现了打字操作。
Sep, 2017
该研究设计了一个交互式写作辅助框架,它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题,并允许作者选择其中一部分以引导生成,研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。
Mar, 2021
使用 Transformer Language Models 等方法对 Yelp 评论进行语言行为学习,并利用 prompt-based queries 生成合成文本以分析特定观点,证明即使在缺乏特定关键词的情况下,这些模型也能准确产生具有正确情感的大量文本。
Apr, 2022
提出了一种新颖的解释方法,利用人脑阅读复杂自然文本时的脑成像记录来解释最新的四个 NLP 模型 ——ELMo、USE、BERT 和 Transformer-XL 中的词和序列嵌入,研究它们在层深度、上下文长度和注意类型之间的差异,并推测改变 BERT 以更好地对齐脑成像记录将使其更好地理解语言。
May, 2019
本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性,发现多模态转换器 VisualBERT 在编码上远优于之前提出的单模态 CNN、图像转换器以及其他先前提出的多模态模型,这表明视觉语言模型的优越性,产生了人们是否在被动地查看图像时,视觉区域的响应是否受到语言处理的影响的问题。
Apr, 2022
通过 12 个预注册的实验,我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理,但是他们在一些方面与人类处理方式存在差异,并且可能通过 Transformer 架构来解释这些差异。
Mar, 2023
本研究提出了基于预训练语言模型的生成式设计方法,利用人工智能技术自动检索和映射生物类比,并生成自然语言体现的生物仿生设计概念。通过精细调整三种类型的设计概念生成器和机器评估器,本方法成功应用于实现轻量化飞行汽车方案的生成,并取得了良好的性能表现。
Mar, 2022