Jan, 2024

ConcEPT: 概念增强的语言模型预训练

PDF
TL;DR我们提出了 ConcEPT，即概念增强的预训练语言模型，将概念知识引入 PLMs，通过预测预训练上下文中提及实体的概念来提高模型性能，并通过实验验证了该模型在实体类型等任务中改善了概念知识的有效性。
pre-trained language modelsknowledge-enhanced plmsconceptual knowledgeconceptconcept-enhanced pre-training
发现论文，激发创造
  • COPEN：探测预训练语言模型中的概念知识

    本研究提出了 COPEN，作为探查预训练语言模型概念知识的评估基准，并通过三项任务对 PLMs 的概念知识进行综合评估，结果表明现有的 PLMs 系统性缺乏概念知识并受到各种虚假相关性的影响。

    Nov, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • KEPLET：具备主题实体意识的知识增强预训练语言模型

    本文提出了一种新型的 KEPLMs - KEPLET，它不仅考虑了维基百科丰富的语料库结构，还具有主题实体感知。实验证明，KEPLET 应用于两种典型的 KEPLMs，在四项实体中心任务中取得了显著的改进。

    May, 2023

  • 基于知识引导提示的因果感知概念提取

    本文提出一种基于结构性因果模型 (SCM) 的知识引导提示，以减轻 PLM 提取过程中的概念偏见，并在多语言知识图谱数据集上展示了该提示的有效性。

    May, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 预训练语言模型在知识密集型自然语言处理中的研究调查

    本文介绍了基于预训练语言模型的知识增强模型（PLMKEs）的当前进展，并通过分析三个重要组成部分：知识来源，知识密集型 NLP 任务和知识融合方法来介绍其挑战和未来方向。

    Feb, 2022

  • 通过概念瓶颈解读预训练语言模型

    利用高层次、易于理解的概念来解释预训练语言模型的方法，通过人工标注和机器生成的概念来提取隐藏神经元，从而增强模型的鲁棒性和解释能力。

    Nov, 2023

  • 面向概念感知的大型语言模型

    在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。

    Nov, 2023

  • TRELM: 面向强大和高效的基于知识增强的预训练语言模型

    TRELM 是一种强大高效的预训练框架，用于提升语言模型的知识扩充能力，并在知识探测任务和多种知识感知语言理解任务中表现优于其他基于知识的语言模型。

    Mar, 2024

  • 知识增强的预训练模型调查

    本次研究综述了在 NLP 和 CV 领域中，通过注入知识的预训练模型（KEPTMs）在解决预训练模型领域中鲁棒性和可解释性差的问题上取得了重要进展，同时对现有 KEPTMs 进行了系统分类，并提出了未来研究的潜在方向。

    Oct, 2021