ACLMar, 2022

预训练语言模型如何捕捉事实知识？因果启发式分析

PDF
TL;DR本文通过因果分析量化和评估 PLMs 依靠生成缺失字词的单词级模式来回答 PLMs 如何正确生成结果这一谜团并发现 PLMs 更倾向于依靠与缺失字词位置接近和高频共现的单词而非知识依赖型的单词，从而得出 PLMs 因为依靠不充分的关联而效率低下地捕捉实际知识的结论。
发现论文，激发创造
  • 使用确定性事实知识进行语言模型预训练

    该论文提出了一种基于确定性关系的预训练方法，利用外部知识库识别确定性关系并连续预训练语言模型以提高其在提取事实知识方面的鲁棒性，试图学习与之相关的确定性关系有助于知识密集型任务。

    Oct, 2022

  • 测量数据统计对语言模型 “事实性” 预测的因果影响

    通过提供一种语言描述训练数据如何影响预测的因果框架，我们研究了提取预训练语言模型中事实知识的问题。研究表明，诸如共现计数等简单数据统计确实会影响预测结果，暗示此类模型依赖于表浅启发式。此结果强调了研究数据集和了解 NLP 模型的因果性的重要性。

    Jul, 2022

  • 能否在因果发现算法中利用预训练语言模型？

    通过对物理启发的合成数据进行实验，我们在本文中实证了基于预训练语言模型的因果推理的前述局限性，并提出了一种新的框架，将来自预训练语言模型的先验知识与因果发现算法结合起来，以初始化用于因果发现的邻接矩阵，并利用先验知识进行正则化，我们提出的框架不仅通过集成预训练语言模型和因果发现来提高性能，还建议如何利用预训练语言模型提取的先验知识与现有的因果发现算法结合。

    Nov, 2023

  • 英国女王并非英国的女王：关于基于语言模型的事实连贯性缺失

    在本研究中，我们考虑了预训练语言模型（PLMs）中的实际知识的一种补充性特征，即 PLMs 中实际知识的连贯性。我们的结果表明，PLMs 在使用手动编写的、优化的和改写的提示时具有较低的连贯性，但包含证据段落则会有显著改善。这表明 PLMs 未能建模逆关系，并需要进一步增强才能以连贯的方式处理从其参数中检索事实，并被视为知识库。

    Feb, 2024

  • 基于知识引导提示的因果感知概念提取

    本文提出一种基于结构性因果模型 (SCM) 的知识引导提示，以减轻 PLM 提取过程中的概念偏见，并在多语言知识图谱数据集上展示了该提示的有效性。

    May, 2023

  • 给我事实！关于预训练语言模型的事实知识探测调查

    对预训练语言模型进行事实知识探测的方法和数据集进行了调研，并提出了一种基于输入、输出和被探测模型适应性的事实探测方法分类方案，综合分析了语言模型中的知识保留和提示优化问题，讨论了采用语言模型作为知识库的障碍和未来研究方向。

    Oct, 2023

  • 预训练语言模型的事实知识校准

    本文提出了一种简单轻量级的方法 CaliNet，用于校准预训练语言模型（PLMs）中所保存的事实性知识，试图解决当前存储知识的准确性问题， 这一方法通过知识探测任务的实验表明其效率及有效性，并且经过微调后， 其校准后的 PLM 具有良好的知识泛化能力，并且我们还进一步研究了知识校准机制。

    Oct, 2022

  • X-FACTR: 预训练语言模型多语言事实知识检索

    该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。

    Oct, 2020

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 语言模型中事实性回忆机制的表征

    利用头部归因方法控制模型行为，将模型表现局部化，并提供了一种概念验证方法，展示如何在运行时动态地控制模型行为。

    Oct, 2023