本研究证明对 BERT 模型进行微调,可提高其对人们阅读文本时脑活动的预测能力,模型学习到的语言与脑活动之间的关系可以跨越多个参与者,同时不影响模型在自然语言处理任务方面的表现,这对于研究大脑中的语言理解具有显著意义。
Oct, 2019
提出了一种新颖的解释方法,利用人脑阅读复杂自然文本时的脑成像记录来解释最新的四个 NLP 模型 ——ELMo、USE、BERT 和 Transformer-XL 中的词和序列嵌入,研究它们在层深度、上下文长度和注意类型之间的差异,并推测改变 BERT 以更好地对齐脑成像记录将使其更好地理解语言。
May, 2019
我们通过研究任务调整如何影响预训练的 Transformer 用于神经编码,并确定了对大脑激活模式有最高预测能力的任务类型,展示了通过 prompt-tuning 生成的监督表示比传统的微调在四个任务上更好地预测对中文刺激的神经反应。此外,我们还揭示了经过微调的模型的调整参数比例对神经编码性能的影响。总体而言,我们的实验结果有助于更好地理解监督人工和脑语言表示之间的关系。
Oct, 2023
对比句子编码模型在大脑解码任务上的表现,发现语法轻量级表示能够显著提高脑解码性能,这一结果限制了自然语言理解模型解释人类大脑语言功能的空间,同时也揭示了使用 fMRI 人脑成像技术解码精细句法信息的局限性。
本文探讨了使用神经语言模型对大脑活动进行研究的方法,主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响,并提出了未来研究的良好实践建议。
Jul, 2022
通过生物学上的神经元网络组合中的多种互补机制,可以在人工神经网络中实现连续学习。
Apr, 2023
回顾了和人脑活动相关的人工语言模型研究,发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合,并且人工神经网络内部的处理层次与人脑有相似之处,但是依据研究的不同而有所不同。因此,建立人工神经网络作为自然语言理解过程模型的当前挑战之一是利用其高度结构化的表征几何来映射表征到脑数据。
Jan, 2023
本篇论文全面综述了现今人工神经网络中基于仿生学学习机制的表示,研究了加入更多仿生意义机制如突触可塑性以加强网络能力的可能性和挑战,并找到未来的研究方向,以更深入理解智能的本质。
May, 2023
本文探讨了如何利用深度学习来研究神经健康以及在算法模型中解释神经分析的困难。其重要贡献在于调查死亡神经元对人工神经网络性能的影响,以评估这些发现在生物领域的潜在应用,可能对神经系统疾病的治疗有重要影响。
Jun, 2023
将贝叶斯模型的归纳偏差与神经网络的灵活表示相结合,使得从自然语素材中有限学习成为可能。