EMNLPNov, 2022

COPEN：探测预训练语言模型中的概念知识

PDF
TL;DR本研究提出了 COPEN，作为探查预训练语言模型概念知识的评估基准，并通过三项任务对 PLMs 的概念知识进行综合评估，结果表明现有的 PLMs 系统性缺乏概念知识并受到各种虚假相关性的影响。
发现论文，激发创造
  • 预训练语言模型是否具备本体知识的认知与理解能力？

    探索预训练语言模型（PLMs）是否了解本体知识以及它们在知识存储方面的语义理解和逻辑推理能力。

    Sep, 2023

  • 探究大型视觉语言模型的概念理解

    本文介绍了一种新的框架，用于探究和提升视觉语言模型的关系、组合和上下文理解。我们提出了一个基准数据集来检测内容理解的三个方面。我们实验了 5 种流行的模型，并发现它们大多数难以展示出概念理解。然而，我们发现交叉注意力可以帮助学习概念理解，并提出了一种新的微调技术，以奖励我们提出的三个概念理解措施。我们希望这些基准测试可以帮助社区评估和改进大型视觉语言模型的概念理解能力。

    Apr, 2023

  • ConcEPT: 概念增强的语言模型预训练

    我们提出了 ConcEPT，即概念增强的预训练语言模型，将概念知识引入 PLMs，通过预测预训练上下文中提及实体的概念来提高模型性能，并通过实验验证了该模型在实体类型等任务中改善了概念知识的有效性。

    Jan, 2024

  • 给我事实！关于预训练语言模型的事实知识探测调查

    对预训练语言模型进行事实知识探测的方法和数据集进行了调研，并提出了一种基于输入、输出和被探测模型适应性的事实探测方法分类方案，综合分析了语言模型中的知识保留和提示优化问题，讨论了采用语言模型作为知识库的障碍和未来研究方向。

    Oct, 2023

  • 基于知识引导提示的因果感知概念提取

    本文提出一种基于结构性因果模型 (SCM) 的知识引导提示，以减轻 PLM 提取过程中的概念偏见，并在多语言知识图谱数据集上展示了该提示的有效性。

    May, 2023

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 面向概念感知的大型语言模型

    在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。

    Nov, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 预训练语言模型中的隐喻：跨数据集和语言的探测和普适性研究

    该研究使用多语言数据集探索预训练语言模型中所编码的隐喻性信息，结果显示这些模型的中间层主要包含了隐喻性知识，并且该知识在多语言和多数据集中具有泛化性。

    Mar, 2022