EMNLPOct, 2020

预训练变压器中微调和句子级探测在语言知识中的相互作用

PDF
TL;DR本文研究了 BERT、RoBERTa、ALBERT 三个预训练模型在句子级探测下，微调如何影响它们的表示。发现微调对于探测任务的准确性有着重大影响，但不同模型和任务的影响有所不同。在发现微调对于探测有着积极或消极的影响时，需进行慎重解释。
fine-tuningpre-trained modelsprobinglinguistic knowledgenlp
发现论文，激发创造
  • BERT Fine-tuning 中嵌入向量发生了什么？

    研究表明，微调 BERT 模型会显著影响其顶部层的表示，尤其是依赖解析涉及模型的大部分，而 SQuAD 和 MNLI 涉及的则较浅。此外，在域外句子的表示方面，微调的影响较弱，这表明模型泛化有待改进。

    Apr, 2020

  • 深入探究微调如何改变 BERT

    本文探讨了使用预训练的上下文相关表示的细调方法对词嵌入空间的影响，并使用两种探测技术分析英语 BERT 系列的细调。作者得出了一些结论，其中包括细调会通过增加相关标签的示例之间的距离来影响分类性能，还发现了一个对 “细调总是提高性能” 的普遍看法的例外，并且发现细调不会引入任意更改，而是在保留数据点的原始空间结构的同时将其调整到下游任务。

    Jun, 2021

  • 能否利用探测来更好地理解 BERT NLU 的微调和知识蒸馏？

    本论文通过 probing 调查 fine-tuning 和 knowledge distillation 过程中，BERT 基础的自然语言理解（NLU）模型出现的现象。实验结果表明，当前形式的 probing 范式不适合回答这些问题，因此，信息可解码的量化是探测范式在许多实际应用中至关重要的。

    Jan, 2023

  • 利用探测预测微调性能

    本研究探讨了使用轻量 Probing 方法去解释 NLP 模型内在机制的方法，通过对三项探测测试的准确性精确预测了模型的调优表现，为 NLP 模型的发展提供了可能。

    Oct, 2022

  • Transformer 模型微调和组合之间的相互作用

    研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

    May, 2021

  • 探究微调模型时数据大小的重要性

    研究表明优化 Fine-tuning 效果的原因是 Fine-tuning 的数据集大小，同时数据集大小会影响编码的语言知识程度，而且数据集大小主要影响神经网络的高层，且这种影响程度跟 Fine-tuning 迭代次数有关。

    Mar, 2022

  • 迁移学习对深度自然语言处理模型中语言知识的影响？

    本文研究对先前已经预训练好的 Bert、RoBERTa 和 XLNet 等神经语言模型通过微调来改进下游自然语言处理任务的表现，并使用层级和神经元级别的诊断分类器来检查这些模型的语言知识的学习方式，发现这些模型对于不同的任务有不同的语言知识保留或遗忘方式，这种模式在三个模型中都有所不同。

    May, 2021

  • 注入语义依存关系的微调

    应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

    Dec, 2020

  • BERTnesia: 探究 BERT 中知识的捕捉和遗忘

    这篇文章探讨了 BERT 模型如何从它的参数化内存中获取关系知识，并使用知识库补全任务在 BERT 的每一层中进行了测试。作者发现，中间层对于 BERT 模型中的总知识量贡献了很大的部分，同时发现 fine-tune 时，与训练数据和训练目标有关。而容量和事实密度是学习事实的关键。

    Jun, 2021

  • 神经语言模型的语言学分析

    本文探究了神经语言模型（NLM）在调整细节后所学习到的语言知识及其对于多种分类问题的预测影响，结合多重探测任务发现，尽管 BERT 能够编码多种语言特征，但在特定的下游任务训练后往往导致相关信息丢失，而 BERT 对于不同语言属性的编码能力将正面影响它的预测能力。

    Oct, 2020