EMNLPOct, 2022

PALT: 轻量化参数的语言模型传递在知识图谱完成中的应用

PDF
TL;DR该论文提出了一种参数轻量级的迁移学习方法，使用预训练语言模型进行知识图谱补全，在固定几个新参数的同时保持原来的语言模型不变，通过在原始 LM 之上引入一个参数轻量级编码器来建立模型，实现 KG 补全任务。实验表明，通过调整比微调更少的参数，LM 可以在大多数任务上实现非平凡的迁移，达到先前基于状态良好的方法的竞争力。
transfer learningpretrained language modelsknowledge graph completionencoderparameter tuning
发现论文，激发创造
  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • 利用参数化知识引导增强的大型语言模型

    本论文提出了 Parametric Knowledge Guiding（PKG）框架，使 LLMs 具有在运行时访问相关知识的能力，从而在适应长尾或特定领域任务方面提高性能，并同时考虑了透明度和数据隐私的问题。

    May, 2023

  • KnowLA: 提升参数高效微调与专业适应性

    通过将知识图嵌入到大型语言模型中，我们提出了一种名为 KnowLA 的知识适应方法，该方法通过在语言模型中插入适应层，将文本中出现的实体的嵌入融入到语言模型中，并与 LoRA 一起进行训练。实验结果表明 KnowLA 的有效性和鲁棒性，能够在不改变语言模型参数或输入提示的情况下，激活语言模型中的相关参数化知识以回答问题。

    Mar, 2024

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021

  • 通过预训练语言模型对文本增强开放知识图谱完成进行优化

    TAGREAL 通过从大型文本语料库中检索支持信息，自动生成高质量的查询提示，从而探索 PLM 的知识，实现开放知识图谱完成，并实现了最先进的性能表现。

    May, 2023

  • 寻找神经策源地：从参数角度看大型语言模型的知识转移

    通过参数的视角，本文以敏感性为基础的技术来提取和对齐不同规模的大型语言模型之间的知识特定参数，并且使用 LoRA 模块作为注入提取的知识到较小模型的中间机制，通过四个基准测试验证了我们提出的方法的有效性，突出强调了影响参数化知识传递过程的重要因素，凸显了模型参数在不同规模的大型语言模型之间的可转移性。

    Oct, 2023

  • 元学习用于参数高效微调

    本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。

    May, 2022

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 知识图谱调优：基于人类反馈的实时大型语言模型个性化

    通过使用知识图谱进行实时个性化，文章提出了一种提高大型语言模型用户体验的方法，而不需要修改模型参数，从而改善了计算和内存效率，并保证解释性和个性化性能。

    May, 2024

  • KALA: 知识增强语言模型适应

    本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

    Apr, 2022