ACLFeb, 2022

一种简单而有效的可插拔式实体查找表应用于预训练语言模型

PDF
TL;DR本文提出了一种 PELE 方法，通过聚合出现在大规模语料库中的实体的输出表示，能够将相关语料库中的实体知识灵活有效地传输到具有不同架构的预训练语言模型中，只需要 0.2%-5% 的预计算能够在域自适应场景中从域外语料库获取知识，实验表明该方法比以前的知识增强预训练语言模型更为优秀。
pre-trained language modelsentity knowledgepluggable entity lookup tabledomain adaptationcorpora
发现论文，激发创造
  • KEPLET：具备主题实体意识的知识增强预训练语言模型

    本文提出了一种新型的 KEPLMs - KEPLET，它不仅考虑了维基百科丰富的语料库结构，还具有主题实体感知。实验证明，KEPLET 应用于两种典型的 KEPLMs，在四项实体中心任务中取得了显著的改进。

    May, 2023

  • UniPELT: 一种统一的参数效率语言模型调节框架

    该研究提出了 UniPELT 框架，将不同的 PELT 方法作为子模块，并学习通过门控机制激活最适合当前数据或任务设置的子模块。在 GLUE 基准测试中，UniPELT 相对于其单独包含的最佳 PELT 方法都能够获得 1-4％的收益，并甚至在不同设置下优于 fine-tuning。此外，UniPELT 通常超过单个子模块在每个任务上单独使用的最佳性能上界，表明多个 PELT 方法的混合可能本质上更有效。

    Oct, 2021

  • TRELM: 面向强大和高效的基于知识增强的预训练语言模型

    TRELM 是一种强大高效的预训练框架，用于提升语言模型的知识扩充能力，并在知识探测任务和多种知识感知语言理解任务中表现优于其他基于知识的语言模型。

    Mar, 2024

  • 低资源命名实体识别基于提示的文本蕴涵

    本文提出了 Prompt-based Text Entailment (PTE) 低资源命名实体识别技术，将命名实体识别作为文本蕴含任务，并使用 Pre-trained Language Models 和 entity type-specific prompts 来获得高性能。通过在 CoNLL03 数据集和 MIT Movie 及 Few-NERD 数据集上进行的实验，结果表明该方法 PTE 在低资源场景下的表现优于微调的对照组。

    Nov, 2022

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • K-PLUG：用于电子商务自然语言理解和生成的知识注入预训练语言模型

    本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

    Apr, 2021

  • ELLE: 面向新兴数据的高效终身预训练

    本研究提出了一种名为 ELLE 的模型，旨在通过 PLM 扩展和预训练域提示来实现高效的终身预训练，从而适应不断增长的流式数据，并在 BERT 和 GPT 上进行了实验，结果表明在预训练效率和下游性能方面 ELLE 优于各种终身学习基线。

    Mar, 2022

  • KEPLER: 知识嵌入和预训练语言表示的统一模型

    本文提出了一种名为 KEPLER 的模型，将知识嵌入和预训练自然语言表示模型有效地结合起来，能够在多种自然语言处理任务上取得最先进的表现，并且能够作为一种归纳式知识嵌入模型在 KG 链接预测中取得显著的效果，同时构建了大规模的带有实体描述的知识图谱数据集 Wikidata5M 以成为新的知识嵌入基准，并促进大型知识图谱、归纳式知识嵌入和具有文本的知识图谱研究。

    Nov, 2019

  • KALA: 知识增强语言模型适应

    本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

    Apr, 2022