SWEA：通过主题词嵌入修改大型语言模型的事实知识

Jan, 2024

SWEA：通过主题词嵌入修改大型语言模型的事实知识

SWEA: Changing Factual Knowledge in Large Language Models via Subject Word Embedding Altering

Xiaopeng Li, Shasha Li, Bin Ji, Shezheng Song, Xi Wang...

TL;DR我们提出了一种可扩展的主题词嵌入修改（SWEA）框架，它修改了主题的表示并在推理阶段实现了知识的编辑目标。我们进一步提出了优化然后抑制融合方法，用于编辑 LLMs 中的事实知识。我们在多个数据集上展示了 SWEAOS 的最先进推理能力。

Abstract

model editing has recently gained widespread attention. Current model editing methods primarily involve modifying model parameters or adding additional modules to the existing model. However, the former causes ir

model editing swea subject word embedding altering knowledge editing reasoning ability

发现论文，激发创造

基于语言模型的知识图谱嵌入编辑

本研究提出了一种新的任务，即在不影响其余表现的情况下编辑语言模型 KG 基础嵌入，并构建了四个新数据集来评估多个知识编辑基线和一种名为 KGEditor 的新方法，其利用超级网络的其他参数层来编辑和添加事实，实验结果表明 KGEditor 可以在具有低训练资源但需要更新特定事实的情况下表现更好。

Jan, 2023

编辑语言模型中的事实知识

本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。

Apr, 2021

整合形式和含义：一种用于声学词嵌入的多任务学习模型

本文提出一种结合自顶向下词汇知识的多任务学习模型，通过学习将声学输入与编码高级别信息（例如单词语义）的词汇表示相映射，从而提高了嵌入空间的可区分性，并使模型更好地分离了词汇类别。

Sep, 2022

利用多语言迁移学习进行无监督语义声学词嵌入

本文研究了声学词嵌入，探索了语义学声学词嵌入，并提出了一种基于多语种转移的语义学声学词嵌入方法，能够显著提高词汇相似性任务的表现，并且能够用于语义检索。

Jul, 2023

医学大型语言模型的事实知识和解释能力编辑

提出了两项模型编辑研究并在医学领域进行了验证，同时观察到当前模型编辑方法在医学知识的专业化和复杂性方面存在困难。因此，提出了一种用于医学模型编辑的新型分层可扩展适配器策略 MedLaSA。通过因果追踪来确定神经元中知识的准确位置，并在 LLMs 的密集层引入可扩展适配器，这些适配器基于相应的特定知识分配缩放值。在医疗 LLMs 上进行的大量实验证明了 MedLaSA 的编辑效率，且不影响未编辑的无关知识。

Feb, 2024

WISE: 对大规模语言模型的终身模型编辑的知识记忆的重新思考

这篇论文提出了一种名为 WISE 的方法，通过设计双参数记忆方案和知识分片机制，解决了大语言模型在终身模型编辑中的可靠性、泛化性和局部性之间的冲突，有效提升了问题回答、虚构和超越分布等任务的性能。

May, 2024

通过混合词语专家实现记忆增强语言模型

该论文通过引入大型知识丰富词汇的路由功能和专家，以 Mixture-of-Experts (MoE) 风格模型，积极地解耦学习容量与 FLOPs，提出了一种名为 Mixture of Word Experts (MoWE) 的方法，它可以被视为一种记忆增强模型，其中一组特定于单词的专家起到了稀疏记忆的作用，研究表明，在各种 NLP 任务中，MoWE 的性能明显优于相似 FLOPs 数量的 T5 模型系列，此外，MoWE 在知识密集型任务上胜过常规的 MoE 模型，并且具有与更复杂的记忆增强方法相似的性能，而后者通常需要调用自定义机制来搜索稀疏记忆。

Nov, 2023

上下文词嵌入的逐步语义权重训练

本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

Nov, 2019

神经网络方法实现口语内容嵌入

通过使用循环神经网络 (RNNs) 改进了模型训练的效率和性能，我们提出了基于 RNNs 的新的区分性的声学词嵌入 (AWE) 和声学基础词嵌入 (AGWE) 的方法；我们将这些发展扩展到几种低资源语言，并且在有限标记数据的情况下展示了多语言训练的性能提升；我们将这些嵌入模型应用于基于示例的语音搜索和自动语音识别等下游任务；最后，我们展示了我们的嵌入方法与最近的自监督语音模型的比较和补充。

Aug, 2023

在没有主题标签的 LLM 中编辑任意命题

使用梯度追踪（GT）和一种简单快速的定位方法，本文介绍了一种新的大语言模型（LLM）编辑方法，使其能编辑任意命题而不仅仅是二元命题，并且无需主语标签，实验结果表明该方法在无主语标签的情况下也能达到接近最先进的方法的编辑性能；另外，还引入了一个新的数据集，名为 Factual Accuracy Classification Test（FACT），该数据集包含非二元命题，对于非通用主语标签的情况，显示出了我们的方法可以在 FACT 上进行编辑。

Jan, 2024