Jun, 2024

多语言知识编辑与语种无关的事实神经网络

PDF
TL;DR多语种知识编辑 (MKE) 旨在同时修订大型语言模型 (LLMs) 中的事实知识。我们研究了 LLMs 如何表示多语种事实知识，并发现不同语言中的相同事实知识通常激活一组共享的神经元，我们称之为语言不可知事实神经元。基于此发现，我们提出了一种通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法。在 Bi-ZsRE 和 MzsRE 基准上的实验结果表明，我们的方法优于现有的 MKE 方法，并取得了显著的编辑性能，表明考虑多语种知识之间的语义连接的重要性。
发现论文，激发创造
  • MEMLA: 用神经掩蔽低秩适应增强多语言知识编辑

    多语言知识编辑涉及通过神经元屏蔽、低秩适应等方法，在多语言语言模型中进行跨语言更新，以提高编辑精度和多跳推理能力。

    Jun, 2024

  • MLaKE：大型语言模型的多语言知识编辑基准

    通过多个语言中的多跳推理和单跳问题，MLaKE（多语言语言知识编辑）评估了知识编辑方法在多语言环境下的适应性，发现现有方法在英语样本上表现较好，但在多语言实验中的泛化能力有限，强调了多语言知识编辑的发展需求。

    Apr, 2024

  • 知识神经中心之旅：发现无关语言的知识神经元和退化知识神经元

    本研究揭示了多语种预训练语言模型中的事实知识是如何存储在参数中的，并引入了架构适应性多语种集成梯度方法，它相比现有方法更准确地定位知识神经元，并且在不同的架构和语言中更具普适性。此外，我们对知识神经元进行了深入探索，发现了两个重要发现：(1) 存储跨语言事实知识的语言无关知识神经元的发现；(2) 退化知识神经元的发现，它表明不同的知识神经元可以存储相同的事实。实验证明了这些发现，并为多语种预训练语言模型中事实知识存储的机制提供了宝贵的见解，源代码将公开供进一步研究使用。

    Aug, 2023

  • 检索增强的多语言知识编辑

    多语言知识编辑通过检索增强的方式，有效地更新大型语言模型中的新知识，较传统的微调方法具有更高性能和多语言适用性。

    Dec, 2023

  • MPN: 利用多语言修补神经元进行跨语言模型编辑

    提出了一种简单而有效的方法，使用多语言修补神经元来存储跨语言知识，以提升现有方法的跨语言编辑能力，并在两个数据集上进行实验证明其在跨语言编辑任务中表现出了提高的性能。

    Jan, 2024

  • 编辑语言模型中的事实知识

    本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。

    Apr, 2021

  • 多语言语言模型事实的追溯：独立、共享和转移知识

    多语言语言模型中获取事实知识的方式以及如何在不同语言中保持一致的事实知识是一项重要的挑战。

    Mar, 2024

  • 知识本地化：任务未完成？进入查询本地化！

    大型语言模型可以存储广泛的事实知识，但其存储和表达这些知识的机制仍不清楚。本论文重新考察了知识定位假设的合理性，并从统计学和知识修改的角度确认了不符合该假设的事实的存在。进一步提出了关联查询和知识选择的方法，以及一种改进知识修改的一致性感知方法。通过 39 组实验证实了我们的结论。

    May, 2024

  • 提高多语言知识和文本建模能力的适配器

    本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器，以利用跨语言实体对齐和从 MLKGs 中获取事实，并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。

    Oct, 2022

  • 神经知识语言模型

    该研究提出了一种神经知识语言模型 (NKLM)，将知识图提供的符号化知识与 RNN 语言模型相结合，通过预测所生成的单词是否具有潜在事实，从预测事实的描述中复制生成这些与知识相关的单词。实验结果表明，NKLM 显著提高了性能的同时，生成了更少的未知词。

    Aug, 2016