EMNLPOct, 2022

使用确定性事实知识进行语言模型预训练

PDF
TL;DR该论文提出了一种基于确定性关系的预训练方法，利用外部知识库识别确定性关系并连续预训练语言模型以提高其在提取事实知识方面的鲁棒性，试图学习与之相关的确定性关系有助于知识密集型任务。
pre-trained language modelsfactual knowledgedeterministic relationshipcontinuous pre-trainingquestion-answering
发现论文，激发创造
  • 预训练语言模型如何捕捉事实知识？因果启发式分析

    本文通过因果分析量化和评估 PLMs 依靠生成缺失字词的单词级模式来回答 PLMs 如何正确生成结果这一谜团并发现 PLMs 更倾向于依靠与缺失字词位置接近和高频共现的单词而非知识依赖型的单词，从而得出 PLMs 因为依靠不充分的关联而效率低下地捕捉实际知识的结论。

    Mar, 2022

  • 预训练语言模型的事实知识校准

    本文提出了一种简单轻量级的方法 CaliNet，用于校准预训练语言模型（PLMs）中所保存的事实性知识，试图解决当前存储知识的准确性问题， 这一方法通过知识探测任务的实验表明其效率及有效性，并且经过微调后， 其校准后的 PLM 具有良好的知识泛化能力，并且我们还进一步研究了知识校准机制。

    Oct, 2022

  • 给我事实！关于预训练语言模型的事实知识探测调查

    对预训练语言模型进行事实知识探测的方法和数据集进行了调研，并提出了一种基于输入、输出和被探测模型适应性的事实探测方法分类方案，综合分析了语言模型中的知识保留和提示优化问题，讨论了采用语言模型作为知识库的障碍和未来研究方向。

    Oct, 2023

  • 关于在持续预训练中有效地学习知识

    通过定义知识裸露和无知识 token 并对样本进行专业标注，该研究发现 PLMs 在从非结构化文本中获取知识方面存在困难并开发了两种解决方案来帮助模型进行更多的知识自学习，实验证明了这些方法的有效性，是第一次探索做到完全自我监督的知识连续预训练。

    Apr, 2022

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 无监督方式提升语言模型中的事实知识

    本研究提出一种影响掩蔽语言模型预训练的方法，使其在无监督的方式下优先选择有信息的词汇，实验证明此方法大大提高了预训练语言模型在诸如事实回忆、问题回答、情感分析和自然语言推理等知识密集型任务中的表现。

    Apr, 2023

  • 英国女王并非英国的女王：关于基于语言模型的事实连贯性缺失

    在本研究中，我们考虑了预训练语言模型（PLMs）中的实际知识的一种补充性特征，即 PLMs 中实际知识的连贯性。我们的结果表明，PLMs 在使用手动编写的、优化的和改写的提示时具有较低的连贯性，但包含证据段落则会有显著改善。这表明 PLMs 未能建模逆关系，并需要进一步增强才能以连贯的方式处理从其参数中检索事实，并被视为知识库。

    Feb, 2024

  • 预先训练的语言模型是否具备演绎推理能力？

    本文对预训练语言模型的可学习演绎性能进行了全面评估，发现该模型存在推理规则泛化不足、对表面形式的修改表现不稳定、在推理过程中出现遗忘现象等问题，说明预训练语言模型对于演绎推理的表现仍不可靠，远未达到人类的推理能力。

    Oct, 2022

  • 口罩策略对语言模型知识记忆的影响

    本文的目标是建立对知识获取过程的更好理解。我们利用一系列预训练任务注入知识到模型中，并通过测量模型回答事实性问题的能力测试其知识保留能力。我们的实验表明，掩盖实体和基于逐点互信息的相关跨度的原则性掩盖方法可以更好地保留事实知识，而遮盖随机顺序的词标记会导致模型遗忘更多的事实知识。我们的发现表明，类似于执行任务的能力，通过训练执行其他任务时获取的（事实）知识也会被遗忘，该文提供了防止这种现象的方法。

    Jun, 2023

  • KgPLM: 知识引导的语言模型预训练 via 生成学习和区分学习

    本文提出了一个基于事实知识补全和验证的预训练语言模型框架，探讨了共享参数下的两个学习方案，并在 LAMA 和 MRQA 等任务中验证了其能够提供更丰富的事实知识和实现最新的表现。

    Dec, 2020