attention neurons | BriefGPT

关键词attention neurons

搜索结果 - 1

语言模型解构：通过选择性修剪实现机器遗忘
该研究论文介绍了一种专为大型语言模型（LLMs）设计的机器遗忘方法。通过选择性修剪 LLMs 的方法，根据其相对于整体网络性能对目标能力的重要性，移除能够实现特定行为的神经元。研究发现在 LLMs 中，前馈神经元和注意神经元都是专门用于特定
PDF4 months ago