该研究显示，大型语言模型在面对隐私攻击时，其攻击的成功与常用网络爬取的训练集中的重复数据有很大关系，而消除重复数据的方法可以显著提高语言模型的隐私安全性。

Feb, 2022

本研究提出知识遗忘（knowledge unlearning）作为一种减少预训练语言模型（pretrained language models）隐私风险的方法，通过对目标标记序列进行梯度上升来遗忘它们，并发现顺序遗忘优于尝试一次性遗忘所有数据，对于特定领域的数据，知识遗忘具有更强的实证隐私保证，同时更加高效和鲁棒。

Oct, 2022

利用教师-学生框架和新的留一出集成方法，我们在语言模型中删除个人信息，在隐私与实用性之间实现卓越的平衡。

Sep, 2023

机器遗忘方法针对用户隐私保护目标有重要作用，但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略，以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标——遗忘率和记忆保留率。通过实施这些创新技术和指标，我们在不显著牺牲模型性能的前提下实现了高效的隐私保护，并提供了一种评估遗忘程度的新方法。

Jan, 2024

通过新的度量衡、对抗攻击以及基于梯度上升和任务算术的两种新的遗忘方法，本研究提供了关于LLMs隐私保护和遗忘的新视角，并在大量NLP任务上进行了全面的性能评估。

May, 2024

利用MUSE标准来综合评估了八个七十亿参数的语言模型在删除哈利·波特书籍和新闻文章的过程中，发现现有的算法在阻止严重的隐私泄露方面有限，对模型的技术功用造成退化，并且不能持续支持连续的取消学习请求或大规模内容删除。

Jul, 2024

该研究提出了一种 Name-Aware Unlearning Framework (NAUF) 隐私保护方法，旨在通过实现机器遗忘学习 (MU) 技术来保护特定个体的个人数据，同时兼顾模型对其他非关联个体的问题回答能力，并通过大量实验证明，NAUF 方法在平均遗忘率方面表现出色，超越最佳基准方法 5.65 分，有效地保护目标个体的个人数据同时维持模型的普适性能。

Jul, 2024

本研究探讨了大型语言模型（LLMs）在隐私保护方面面临的挑战，特别是在关键领域（如医疗保健）中的风险。提出从数据匿名化到差分隐私的多种解决方案，以在整个学习过程中有效地集成隐私保护机制。这项工作的关键发现是为构建更安全可信的人工智能系统提供了针对隐私保护方法的全面评估与未来发展方向的指导。

Aug, 2024

本研究解决了在私人数据上微调大型语言模型时可能带来的隐私风险。我们提出了一种新颖的攻击方法——模型遗忘技术，利用这一技术提升了隐私数据泄露的可能性，并在验证中显示出显著优于基线的效果。这项研究警示用户下载未经验证的预训练模型时可能面临的风险。

Aug, 2024

本研究解决了大型语言模型在涉及敏感或版权内容时的隐私和法律问题，提出了机器遗忘的思路。我们引入了三种新的评估指标，探讨了无目标和有目标的遗忘方法及其问题，并提出了基于最大化熵和答案保留损失的改进策略。实验结果表明，所提方法在多种场景下均有效。

Oct, 2024