Feb, 2025
Transformer中借助注意力机制进行大规模记忆编辑:跨语言知识探索
Mass-Editing Memory with Attention in Transformers: A cross-lingual
exploration of knowledge
TL;DR本研究解决了大语言模型中事实知识更新与修改的方法差距,探索了注意力机制在知识编辑中的作用。提出的“基于注意力的大规模记忆编辑”方法(MEMAT)在多个指标上显著提升,同时仅需对参数进行最小修改。这一方法不仅对未在训练数据中包含的语言有效,还展示了较高的可移植性。