ACLApr, 2022

从预训练语言模型中探索比喻知识

PDF
TL;DR本文介绍一种利用预训练语言模型中的知识解决类比解释和类比生成任务的方法，提出一种基于模式的方法来完成词的预测，同时采用模式集成和模式搜索的方式提高预测词的质量。实验结果表明该方法在类比解释和类比生成方面取得了很好的效果。
simile interpretationsimile generationpre-trained language modelsmasked language modelpattern ensemble
发现论文，激发创造
  • 预训练语言模型能否像人一样理解明喻？

    本研究设计了一项名为 “比喻属性探测” 的新任务，通过构建数据集并研究其构建的多类别示例，我们发现预训练语言模型可以推理出比喻的共同特性，但表现仍落后于人类，使用知识嵌入方法对其进行训练则可以提高性能。

    Mar, 2022

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 拥抱歧义：利用语境同义词知识提高基于相似度的任务

    使用新型的具有实体感知的适配器结构，将多领域的同义词知识注入预训练语言模型，既可解决同义词语义模糊性的问题，又不会破坏 PLM 的原始语义理解，从而能有效提升各类文本任务的性能。

    Nov, 2022

  • 预训练语言模型中的隐喻：跨数据集和语言的探测和普适性研究

    该研究使用多语言数据集探索预训练语言模型中所编码的隐喻性信息，结果显示这些模型的中间层主要包含了隐喻性知识，并且该知识在多语言和多数据集中具有泛化性。

    Mar, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • MAPS-KB：一个百万级的概率式比喻知识库

    提出一种新的框架来构建大规模的拟人化智能，基于符号系统的比喻知识库，并使用两种概率学方法来帮助理解自然语言的比喻现象。构建了一个由 0.4 百万个术语中的 430 万个三元组组成的、占据 70 GB 语料库的百万级概率性比喻知识库 —— MAPS-KB，并在三个下游任务上应用，实现了最先进的性能。

    Dec, 2022

  • 预训练语言模型在知识密集型自然语言处理中的研究调查

    本文介绍了基于预训练语言模型的知识增强模型（PLMKEs）的当前进展，并通过分析三个重要组成部分：知识来源，知识密集型 NLP 任务和知识融合方法来介绍其挑战和未来方向。

    Feb, 2022

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 通过预训练语言模型探测和多层对比学习实现槽位归纳

    在本研究中，我们研究了无需显式标注的词级槽位注释的情况下，用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知（Slot Induction）任务，并提出利用无监督预训练语言模型（PLM）探测和对比学习机制，结合可从 Task-oriented Dialogue Systems 中获得的句级意图标签信号，从而在两个自然语言理解基准数据集上展现出有效性，同时能够填补与词级监督模型之间的差距。当推广到新兴意图时，我们的槽位感知目标还提供了改进的槽位标签表示，从而提高了槽位填充任务的性能。

    Aug, 2023

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023