May, 2024
编辑批次大小越大越好吗？--- 基于 Llama-3 的模型编辑的经验研究
Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3
Junsang Yoon, Akshat Gupta, Gopala Anumanchipalli
TL;DR本研究重点针对最新的大型语言模型 Llama-3 进行了定向模型编辑分析。我们探讨了针对精确层次干预设计的流行模型编辑技术 ——ROME、MEMIT 和 EMMET 的有效性。通过对三种不同策略（顺序编辑、批次编辑和顺序 - 批次编辑）的 4096 次编辑进行评估，我们确定了最有效的编辑层次。我们的发现表明，增加编辑批次大小可能会比使用较小的编辑批次按顺序执行相同数量的编辑更明显地降低模型性能。基于此，我们认为顺序模型编辑在扩展模型编辑方法方面是一个重要组成部分，并且未来的研究应该专注于将批量编辑和顺序编辑相结合的方法。这一观察表明了当前模型编辑方法在推动更大的编辑批次大小方面存在潜在限制，我们希望这为优化批次大小和模型编辑性能的未来研究铺平道路。