KALA: 知识增强语言模型适应

ACLApr, 2022

KALA: Knowledge-Augmented Language Model Adaptation

Minki Kang, Jinheon Baek, Sung Ju Hwang

TL;DR本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

Abstract

pre-trained language models (PLMs) have achieved remarkable success on various natural language understanding tasks. Simple fine-tuning of PLMs, on the other hand, might be suboptimal for domain-specific tasks because they cannot possibly cover knowledge from all domains. While

pre-trained language models adaptive pre-training domain adaptation knowledge-augmented language model adaptation question answering

发现论文，激发创造

知识增强预训练语言模型综述

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

Nov, 2022

元学习差异性：为大型语言模型准备高效迁移

该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

Jul, 2022

关于预训练语言模型的领域自适应和泛化：一项综述

本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

Nov, 2022

知识增强的预训练语言模型：综述

本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

Oct, 2021

将领域知识注入语言模型以用于面向任务的对话系统

本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。

Dec, 2022

KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

Sep, 2021

预训练语言模型的知识继承

介绍了一种新的预训练框架 —— 知识遗传，并研究了如何在预训练过程中使用知识蒸馏作为辅助监督来高效地学习更大的预训练语言模型，并证明了知识遗传在训练效率方面的卓越表现，同时探索了教师 PLMs 的预训练设置对知识遗传的影响和如何应用知识遗传进行领域适应和知识转移。

May, 2021

知识感知语言模型预训练

本文通过在预训练中引入实体信号，将知识意识融入到语言模型的预训练中，无需改变 transformer 体系结构、插入显式知识层或添加语义信息外部存储。实验证明，仅通过添加这些实体信号进行预训练，可以在 transformer 参数中装载更多的知识，从而提高语言建模精度，并在 LAMA 知识探测任务中获得事实的正确性，利用边界分析显示出隐藏表示中的语义，同时表明我们的知识感知语言模型（KALM）可以作为一个可抛弃替换 GPT-2 模型，显著提高了零 - shot 问题回答等下游任务的表现。

Jun, 2020

基于预训练语言模型的文本分类进化领域适应

在面对不断变化的领域转变时，将预训练语言模型（PLMs）用于时间序列文本分类是确保准确性的关键，本研究基于不断演化的领域自适应（EDA）策略，重点关注增量自我训练方法，并通过对各种数据集的分析发现，这种增量方法在将 PLMs 适应于变化领域中表现卓越，超过了传统的领域自适应技术，结果凸显了不断更新 PLMs 以确保其在实际应用中的有效性的重要性，并为未来研究 PLM 在语言的自然时间演变中的鲁棒性铺平了道路。

Nov, 2023

在保留通用知识的同时调整语言模型

本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。

Jan, 2023