ACLJun, 2023

口罩策略对语言模型知识记忆的影响

PDF
TL;DR本文的目标是建立对知识获取过程的更好理解。我们利用一系列预训练任务注入知识到模型中，并通过测量模型回答事实性问题的能力测试其知识保留能力。我们的实验表明，掩盖实体和基于逐点互信息的相关跨度的原则性掩盖方法可以更好地保留事实知识，而遮盖随机顺序的词标记会导致模型遗忘更多的事实知识。我们的发现表明，类似于执行任务的能力，通过训练执行其他任务时获取的（事实）知识也会被遗忘，该文提供了防止这种现象的方法。
language modelspre-training tasksknowledge acquisitionfactual knowledge retentioncatastrophic forgetting
发现论文，激发创造
  • 记忆力强还是弱？深入探究语言模型记忆机制

    对预训练语言模型进行了多种实验，发现预训练模型有助于保持记忆，而非预训练的神经网络具有遗忘的问题，并且知识相关性和多样性会显着影响记忆形成。这些结论有助于了解预训练模型的能力，同时也为语言模型的新学习和推断算法的设计和评估提供了启示。

    May, 2023

  • 战略性学习：学习如何在闭卷问答中进行遮盖

    通过训练遮盖策略，从而在中间预训练阶段将任务相关知识封装到语言模型的参数中，该方法在 TriviaQA 上的表现优于强启发式方法，而用于 BART 的表现则更为强大。

    Dec, 2020

  • 无监督方式提升语言模型中的事实知识

    本研究提出一种影响掩蔽语言模型预训练的方法，使其在无监督的方式下优先选择有信息的词汇，实验证明此方法大大提高了预训练语言模型在诸如事实回忆、问题回答、情感分析和自然语言推理等知识密集型任务中的表现。

    Apr, 2023

  • 掩码语言建模和适配器对事实知识注入的有效性

    本文研究了在大型预训练语言模型中注入实际知识的问题，并使用遮蔽语言建模目标训练 adapter 模块来评估该方法的成功性，证明该技术是有效的，将额外增加不到 2.1% 的参数到原始模型中即可提高在 LAMA 探针子集上的性能。

    Oct, 2022

  • BERTnesia: 探究 BERT 中知识的捕捉和遗忘

    这篇文章探讨了 BERT 模型如何从它的参数化内存中获取关系知识，并使用知识库补全任务在 BERT 的每一层中进行了测试。作者发现，中间层对于 BERT 模型中的总知识量贡献了很大的部分，同时发现 fine-tune 时，与训练数据和训练目标有关。而容量和事实密度是学习事实的关键。

    Jun, 2021

  • 知识性还是教育性猜测？重新审视语言模型作为知识库

    本文对预训练掩码语言模型（MLMs）在不同抽取范式下的预测机制进行了研究，发现之前的良好表现主要归因于偏见提示和外部环境的贡献。实体类型引导和正确答案泄露是知识预测的改进方向。这些发现揭示了 MLMs 的预测机制，同时质疑了现有 MLMs 可以作为可靠事实知识库的结论。

    Jun, 2021

  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 使用确定性事实知识进行语言模型预训练

    该论文提出了一种基于确定性关系的预训练方法，利用外部知识库识别确定性关系并连续预训练语言模型以提高其在提取事实知识方面的鲁棒性，试图学习与之相关的确定性关系有助于知识密集型任务。

    Oct, 2022

  • 知识感知语言模型预训练

    本文通过在预训练中引入实体信号，将知识意识融入到语言模型的预训练中，无需改变 transformer 体系结构、插入显式知识层或添加语义信息外部存储。实验证明，仅通过添加这些实体信号进行预训练，可以在 transformer 参数中装载更多的知识，从而提高语言建模精度，并在 LAMA 知识探测任务中获得事实的正确性，利用边界分析显示出隐藏表示中的语义，同时表明我们的知识感知语言模型（KALM）可以作为一个可抛弃替换 GPT-2 模型，显著提高了零 - shot 问题回答等下游任务的表现。

    Jun, 2020

  • REALM: 检索增强语言模型预训练

    本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。

    Feb, 2020