llm unlearning | BriefGPT - AI 论文速递

关键词llm unlearning

搜索结果 - 4

逆转遗忘 - 保留目标：基于逻辑差异的高效 LLM 最佳模型即时舍弃框架
通过介绍一种新的遗忘框架 Unlearning from Logit Difference（ULD），该方法通过计算目标模型与助理模型之间的逻辑差异来实现忘记目标文档和保留其他知识的目标，从而解决了 LLM 遗忘方法中的两个挑战问题（退化输
PDF22 days ago
SOUL：解锁第二阶优化对 LLM 取消学习的力量
通过选择优化器，本研究揭示了第二阶优化在大型语言模型的遗忘中的重要性，并基于该观察开发了一个名为 SOUL 的基于第二阶修剪随机优化的遗忘框架，扩展了传统的一次性模型更新到动态的迭代遗忘过程，消除了影响数据对模型的影响，并在各种遗忘任务、模
PDF2 months ago
负面偏好优化：从灾难性崩溃到有效的遗忘
大型语言模型（LLMs）在预训练过程中经常记忆敏感、私人或受版权保护的数据。LLM unlearning 旨在消除预训练模型中不需要的数据的影响，同时保留模型在其他任务上的效用。本文提出了一种简单的基于对齐的方法 ——Negative Pr
PDF3 months ago
大型语言模型的机器遗忘思考
探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为 LLMs 生命周期管理中的重要元素，潜在地作
PDF5 months ago