EMNLPNov, 2021

利用大量多语种知识三元组增强多语言模型

PDF
TL;DR本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。
发现论文，激发创造
  • 提高多语言知识和文本建模能力的适配器

    本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器，以利用跨语言实体对齐和从 MLKGs 中获取事实，并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。

    Oct, 2022

  • SKILL: 大语言模型结构化知识注入

    本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。

    May, 2022

  • Prix-LM：多语言知识库构建预训练

    本研究通过提出 Prix-LM 模型，利用大型预训练语言模型在多种语言间进行联合表示，构建和完善多语言知识库，并在实体相关任务方面展示其有效性。

    Oct, 2021

  • 用于语义网络填充的多任务预训练语言模型

    本文研究如何提高知识图谱的完整性，通过引入 LP-BERT 模型，并结合语义匹配以及数据增强的方法，实现了知识图谱补全任务的最新成果，优于现有最佳表现。

    Jan, 2022

  • 为语言模型赋予多模态知识图谱表达

    本文提出使用外部知识图谱作为存储知识，并使用密集索引来检索以提高自然语言理解模型的参数效率，并通过两项下游任务证明了学习到的实体表示的实用性。

    Jun, 2022

  • 基於知識圖譜的合成語料庫生成用於知識增強語言模型預訓練

    本文研究了将知识图谱转化为自然语言文本的任务，主要讨论了广泛的开放领域大规模语言生成的挑战，将知识图谱转化为自然语言文本，从而提高了语言模型的事实准确性和减少了毒性。通过对开放领域 QA 和 LAMA 知识探测的任务进行评估，表明该方法在文本检索方面有很大的优势。

    Oct, 2020

  • 探索用于知识图谱完成的大型语言模型

    在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。

    Aug, 2023

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • XLM-K: 利用多语言知识提高跨语言语言模型的预训练

    本文提出了一种名为 XLM-K 的跨语言语言模型，它将多语言知识融入预训练中并通过两种知识任务对其进行了拓展，结果显示 XLM-K 在多项任务上表现出更高的优越性。

    Sep, 2021

  • 语言模型是开放的知识图谱

    本论文介绍了如何使用预训练语言模型构建知识图谱，从而达到无须人类监督的效果，并通过比较人类创建的两个知识图谱，证明了构建的知识图谱的质量高，能够提供新的事实知识，并公开了相关代码和知识图谱。

    Oct, 2020