EMNLPNov, 2022

在预训练的基于 Transformer 的语言模型中寻找技能神经元

PDF
TL;DR本论文研究了预训练 Transformer 中某些神经元的激活与特定任务的关联性，发现这些神经元被称为技能神经元，并证实它们对于任务的处理至关重要且具有任务特异性，可通过适当的微调或冻结车舱重用提取得到。此外，还探索了技能神经元的应用，包括网络修剪和构建更好的可转移性指标，这对于加速 Transformer 的发展和进一步研究也有很大推动作用。
pre-trained language modelstransformerneuronsskill-specific skillsfine-tuning
发现论文，激发创造
  • 关于提示调整中技能神经元与稳健性的关系

    Prompt Tuning 是一种流行的参数高效微调方法，可以在预训练的大型语言模型（PLMs）中激活特定的技能神经元，并与 T5 和 RoBERTa 模型的对抗鲁棒性进行比较。我们发现，对特定任务进行微调的提示可以迁移到相同类型的任务，但对于对抗性数据的鲁棒性较低，其中 T5 的鲁棒性高于 RoBERTa。同时，我们还论证了 RoBERTa 和 T5 中存在技能神经元，并发现 T5 中在非对抗性数据中确定的技能神经元也是对对抗性数据具有预测性的，而 RoBERTa 则不然。我们得出结论，较高的对抗性鲁棒性可能与模型在对抗性数据上激活相关技能神经元的能力有关。

    Sep, 2023

  • 预训练变压器网络中的知识神经元

    本文提出预训练模型中知识神经元的概念并探究其如何存储事实知识，通过使用填空测试来确定知识神经元并证明其与对应事实的正相关性。进一步研究表明，可以利用知识神经元对特定的事实进行编辑并揭示了其存储知识的方式。

    Apr, 2021

  • 对预训练语言模型中个体神经元的分析

    本研究探讨了使用深度 NLP 模型学习的表示来捕捉语言知识。在核心语言学任务上进行了神经元级别的分析，研究了预训练的语言模型中的神经元是否捕捉了语言信息，哪些部分学习了某些语言现象，信息分散或集中在哪里，以及不同架构在学习这些属性方面的差异。本研究发现预测语言任务的神经元是小的子集，与较低级任务（如形态学）相比，预测句法这样的更高级任务的神经元更加分散。同时，本研究还揭示了有趣的跨架构比较，比如我们发现在预测性质方面，XLNet 中的神经元更加局部化和不连通，而 BERT 等则更加分布式和耦合。

    Oct, 2020

  • 在 Fine-tuned 语言模型中的任务特定技能定位

    本文针对预训练语言模型任务中局部技能优化问题提出一种通用解决方案，该方案可显著提高模型预测精度，并在参数效率和任务相似性方面得到优化。

    Feb, 2023

  • 预训练纯文本 Transformer 中的多模态神经元

    通过向文本转换器添加视觉信息，我们研究了冻结的文本转换器如何使用自监督视觉编码器和单一线性投影将一种模态的学习表示迁移到另一种模态，在转换器内部发现了模态之间的转换，并通过识别多模态神经元和解码它们注入模型剩余流的概念来验证其作用。通过一系列实验证明多模态神经元在特定的视觉概念上操作，并对图像字幕生成产生系统性的因果影响。

    Aug, 2023

  • 神经元专业化：利用内在任务模块化实现多语言机器翻译

    通过神经元特化，提出一种解决多语言翻译中干扰和促进知识转移的方法，并通过大量实验证明了其相比强基准模型的性能提升以及减少干扰并增加知识转移的效果。

    Apr, 2024

  • 调音至神经编码：将人脑与人工监督的语言表达连接起来

    我们通过研究任务调整如何影响预训练的 Transformer 用于神经编码，并确定了对大脑激活模式有最高预测能力的任务类型，展示了通过 prompt-tuning 生成的监督表示比传统的微调在四个任务上更好地预测对中文刺激的神经反应。此外，我们还揭示了经过微调的模型的调整参数比例对神经编码性能的影响。总体而言，我们的实验结果有助于更好地理解监督人工和脑语言表示之间的关系。

    Oct, 2023

  • 预训练 Transformer 中的紧密联系模块化

    本文研究使用预训练的 Transformers 中是否存在模块化，发现神经元具有功能专业化，可以通过 Mixture-of-Experts 将分组神经元分配到对应功能模块中。在预训练阶段，模块化结构会更快地稳定，文献代码和数据可在链接中获得。

    May, 2023

  • 语言特定神经元：大型语言模型多语能力的关键

    通过新的检测方法 - 语言激活概率熵（LAPE），我们研究了大型语言模型中的 Transformer 架构，以确定语言特定的区域，并显示了激活或关闭特定语言神经元对大型语言模型输出语言的可控性。

    Feb, 2024

  • SkillNet-X: 多语言多任务模型与稀疏激活技能

    提出了一种名为 SkillNet-X 的多语言多任务模型，使用 Transformer 模型和技能模块，以利用目标任务和目标语言的相关知识，实现在不同语言和不同任务之间切换，相对于任务特定基准和两个多任务学习基准表现更好，并在几乎所有数据集上表现出了更好的性能。

    Jun, 2023